Zwischen all den Frontier-Modellen von Anthropic, OpenAI und Google geht ein Release schnell unter, der aus einer ganz anderen Ecke kommt: AMD hat Instella-MoE-16B-A3B vorgestellt — ein vollständig offenes Mixture-of-Experts-Modell. Und «vollständig offen» meint hier ausnahmsweise wirklich vollständig.
Was drin steckt
Instella-MoE ist ein MoE-Modell mit 16 Milliarden Parametern insgesamt, von denen pro Token aber nur rund 2,8 Milliarden aktiv sind. Das ist der klassische MoE-Trick: die Kapazität eines großen Modells bei den Laufzeitkosten eines kleinen. Architektonisch setzt AMD auf ein paar Neuerungen wie Gated Multi-head Latent Attention und eine Technik namens FarSkip-Collective, um Training und Inferenz effizienter zu machen.
Beim Benchmark landet das Basismodell bei einem Durchschnittswert von 76,7 und schlägt damit offene Modelle wie SmolLM3-3B und OLMo-3-7B. Kein Frontier-Killer — aber solide in seiner Klasse. Es gibt drei Varianten: Base, SFT und eine «Think»-Version fürs Reasoning.
Der eigentliche Clou: die Offenheit
Was Instella-MoE heraushebt, ist nicht die Punktzahl, sondern der Grad an Transparenz. AMD veröffentlicht die Gewichte aus jeder Trainingsstufe — nicht nur das fertige Modell. Dazu kommen die Datenmischungen, die Trainings-Konfigurationen und der Inferenz-Code. Für die Forschung ist das Gold wert: Man kann nachvollziehen, wie das Modell Schritt für Schritt entstanden ist, statt nur eine Blackbox herunterzuladen.
Ein Wermutstropfen: Die Gewichte stehen unter einer ResearchRAIL-Lizenz — also nur für Forschung und akademische Zwecke, nicht als Drop-in fürs Produkt. Der Trainingscode dagegen ist MIT-lizenziert und damit frei nutzbar.
Warum das zählt
Der spannendste Teil steht fast im Kleingedruckten: Instella-MoE wurde von Anfang bis Ende auf AMDs eigenen Instinct-GPUs (MI300X und MI325X) mit dem ROCm-Stack trainiert. Das ist ein Statement. Der gesamte KI-Boom läuft auf NVIDIA-Hardware, und AMD zeigt hier, dass man ein konkurrenzfähiges, vollständig offenes Modell auch komplett auf der eigenen Plattform aus dem Boden stampfen kann.
Für uns als Nutzer ist ein einzelnes 16B-Modell nicht die Nachricht. Die Nachricht ist, dass der Markt für Trainings-Hardware ein bisschen weniger nach einem Monopol aussieht. Mehr Wettbewerb bei den GPUs heißt am Ende: bezahlbarere Modelle für alle. Und ein Modell, das seinen kompletten Entstehungsweg offenlegt, ist genau die Art Beitrag, von der die offene KI-Welt lebt.
Quellen: