Reflection AI hat am 16. Oktober die Gewichte von Beam auf Hugging Face gestellt. Das Modell mit 501 Milliarden Parametern war am 5. Oktober angekündigt worden, damals mit dem Hinweis, die Gewichte kämen später im Monat. Jetzt sind sie da, und zwar nicht allein.
Mit den Gewichten kommen Trainingsrezepte: Code-Vorlagen, mit denen sich das Modell nachtrainieren lässt, dazu Werkzeuge, die messen, wie eine Anpassung die Fähigkeiten und die Sicherheitsleitplanken verändert. Es gibt mehrere Fassungen der Gewichte, darunter quantisierte, die Ausgabequalität gegen Hardware-Effizienz tauschen. Dazu ein Drafter-Modell für spekulatives Dekodieren, fertige Konfigurationen für mehrere Serving-Engines und fusionierte Kernel, die mehrere Inferenz-Rechenschritte zu einer Operation zusammenziehen. Weitere Rezepte sollen folgen, darunter eines für Selbstdestillation.
Zwei Monate Training, praktisch ohne Ausfall
Trainiert wurde Beam über zwei Monate auf mehreren tausend Hochleistungs-GPUs. Bei Läufen dieser Größe sind Fehler die Regel, und sie kosten Modellqualität. Reflection sagt, die eigenen Ingenieure hätten dafür eigene Algorithmen zur Zuverlässigkeit gebaut, mit besonderem Augenmerk auf Abweichungen zwischen Training und Inferenz, also auf Fehler, die aus kleinen Unterschieden in der Konfiguration der Trainingsumgebung entstehen. Dazu kommt ein System, das bestimmte Datenqualitätsfehler selbst behebt: Es setzt den Lauf auf einen früheren Stand zurück und macht von dort weiter, statt von vorn anzufangen. Das Ergebnis sei ein Training praktisch ohne Cluster-Ausfallzeit gewesen.
Die Wette liegt auf der Rechnung pro Aufgabe
Reflection stellt Beam gegen die chinesischen offenen Modelle, die viele US-Firmen wegen der Kosten längst einsetzen. Das Argument ist nicht der billigere Token, sondern der nicht ausgegebene: Beam soll eine Aufgabe mit deutlich weniger Tokens abschließen als Modelle seiner Größenklasse, was die Kosten je fertiger Aufgabe senkt. Im Beitrag vom 5. Oktober schrieb die Firma, sie habe das Modell mit intensivem Reinforcement Learning trainiert und ihm dabei eine Strafe für überflüssige Tokens gegeben.
Im Gespräch mit VentureBeat hat Mitgründer und CTO Ioannis Antonoglou erklärt, warum diese Strafe schwer zu dosieren ist. Gefragt, was Beam für die kürzeren Antworten aufgibt, sagte er: „Du gibst gar nichts auf. Du bestrafst es nur dafür, wie viele Tokens es benutzen darf.“ Das Problem liege woanders: Wer die Strafe naiv setzt, bekomme ein Modell, das „einfach lernt, die Aufgabe nicht zu lösen“, weil weniger Tokens leichter sind als die Arbeit. Dagegen helfe sehr viel Reinforcement Learning, bis das Modell beides gleichzeitig lernt, die Aufgabe zu lösen und kurz zu bleiben.
Beam kam einen Tag nach Metas Muse Spark Open mit 816 Milliarden Parametern. Meta verkauft das größere Modell über die Fähigkeiten, Reflection das kleinere über die Effizienz. Nach den jeweils eigenen veröffentlichten Werten erreicht keines der beiden die besten chinesischen Modelle auf Terminal-Bench 2.1. Genau darauf setzt Reflection: Solange die Leistung für Agentenaufgaben konkurrenzfähig bleibt, zählt für Unternehmen eher, wie viele Tokens eine Aufgabe kostet. Das ist eine Wette darauf, dass Einkäufer anfangen, in Aufgaben zu rechnen statt in Tokens. Bisher tun sie das nicht.