PrismML hat gestern Bonsai 2 27B veröffentlicht. Das Modell komprimiert Qwen3.8 27B, ein weit verbreitetes Open-Source-Modell von Alibaba, auf 5,9 Gigabyte. Das ist neun- bis zehnmal weniger Speicher als das Original braucht – klein genug für einen normalen PC und vielleicht für ein gut ausgestattetes Smartphone.
Gegründet wurde PrismML von Forschern aus Caltech, geführt wird es von Babak Hassibi, Professor dort und Fachmann für Kompression. Als Berater sitzt Ion Stoica dabei, Mitgründer von Databricks und Leiter des Sky Computing Lab in Berkeley. Geld kommt von Khosla Ventures, Cerberus Capital und Caltech selbst. Über Gespräche mit Apple wird gemunkelt; Hassibi wollte sich gegenüber TechCrunch dazu nicht äußern.
Drei Werte statt 16 Bit
Der Trick steckt in den Gewichten. Normalerweise braucht jedes Gewicht 16 Bit. PrismML arbeitet mit ternären Gewichten und kommt mit drei Zuständen aus: plus eins, minus eins, null.
Das ist keine neue Idee, aber offenbar eine gut umgesetzte. PrismML ist auch nicht allein damit – Multiverse Computing aus Spanien arbeitet an derselben Sache und hat deutlich mehr Geld eingesammelt.
98 statt 95 Prozent
Interessanter als die absolute Zahl ist die Bewegung. Bonsai 2 erreicht 98 Prozent der Benchmark-Werte des unkomprimierten Qwen. Das erste Bonsai vom März kam auf 95 Prozent. Der Abstand zum Original ist also innerhalb einer Modellgeneration von fünf auf zwei Prozentpunkte geschrumpft.
Die Nachfrage ist da: Das erste Bonsai wurde nach Firmenangaben über elf Millionen Mal heruntergeladen, die noch kleineren Modelle weitere 2,6 Millionen Mal. Ob je 100 Prozent erreichbar sind, lässt Hassibi offen. Kompression koste wahrscheinlich immer etwas.
Die zwei Prozent sind nicht das Problem
Ehrlich gesagt ist die Frage nach der perfekten Parität akademisch. Kein Modell ist in unkomprimierter Form so genau, und kein Benchmark bildet echte Arbeit so gut ab, dass zwei Prozentpunkte im Alltag auffallen würden. Was viel mehr ausmacht, ist die Software drumherum – das Harness, in dem das Modell läuft.
Für uns ist das trotzdem relevant, und zwar aus einem Grund, der mit Benchmarks nichts zu tun hat. Ein brauchbares Reasoning-Modell, das lokal auf dem eigenen Rechner läuft, beantwortet eine Frage, die sich viele bei jedem Agenten stellen: Wohin gehen die Daten? Die Antwort „nirgendwohin“ hat einen Wert, den kein Prozentpunkt im Benchmark aufwiegt. Zwei Prozent weniger Leistung nehme ich dafür jederzeit.
Quellen: