#bonsaiai — Public Fediverse posts on home.social

RT @PrismML: Heute kündigen wir Bonsai 27B an: das erste 27B-Modell, das auf einem Smartphone läuft. Bonsai 27B ist der neue multimodale Flaggschiff der Bonsai-Familie. Basierend auf Qwen3.6 27B bringt es eine neue Fähigkeitsebene für lokale KI: mehrstufiges Reasoning, strukturierte Werkzeugnutzung, Long-Context-Workflows und kohärente agentic loops. Bisher waren Modelle dieser Klasse für lokale Bereitstellungen unpraktikabel. Ein 27B-Modell belegt etwa 54 GB im 16-Bit-Format, und selbst eine starke 4-Bit-Variante ist rund 18 GB groß - zu groß für ein Smartphone und die meisten Laptops. Bonsai 27B ändert das. Es wird in zwei Varianten angeboten: • Ternary Bonsai 27B: 5,9 GB, 1,71 effektive Bits pro Gewicht, optimiert für Laptop-Qualität. • 1-bit Bonsai 27B: 3,9 GB, 1,125 effektive Bits pro Gewicht, optimiert für Smartphone-Fußabdruck. Alles wird heute unter der Apache 2.0-Lizenz quelloffen veröffentlicht.