Es gibt Ankündigungen, die klingen zu gut, um wahr zu sein. Und dann gibt es Subquadratic — ein Startup aus Miami, das behauptet, die fundamentale Schwäche heutiger LLMs gelöst zu haben. Im Mai kamen sie mit 29 Millionen Dollar Seed-Funding aus dem Stealth-Modus. Jetzt, einen Monat später, nimmt die Geschichte eine interessante Wendung.
Was Subquadratic behauptet
Das Problem ist real: Jedes Transformer-Modell berechnet Attention quadratisch. Doppelt so viel Text heißt vierfach so viel Rechenaufwand. Das ist der Grund, warum lange Kontextfenster so teuer sind — und warum alle Anbieter daran arbeiten.
Subquadratic sagt, sie hätten es gelöst. Ihr Modell SubQ nutzt sogenannte Sparse Attention statt der üblichen Dense Attention. Die Zahlen, die sie nennen, sind absurd gut: 56x schneller als FlashAttention, ein Kontextfenster von 12 Millionen Token, und ein RULER-128-Benchmark für 8 Dollar statt 2.600 Dollar bei Anthropic Opus. Bei LiveCodeBench — einem Coding-Benchmark — erreichen sie 89,7 Prozent. Needle-in-a-Haystack: 98 Prozent bei 6 und 12 Millionen Token.
Der MIT-Technology-Review-Bericht
Heute berichtet die MIT Technology Review, dass eine unabhängige Evaluation durch Appen viele der Behauptungen stützt. Das ist nicht nichts — Appen ist ein etablierter Anbieter für KI-Evaluierung. Aber es ist auch nicht die ganze Geschichte.
Denn es gibt berechtigte Einwände. Subquadratic hat die Gewichte des chinesischen Open-Source-Modells Qwen wiederverwendet und SubQ nicht breit verfügbar gemacht. Man kann das Modell also nicht einfach selbst testen. Und genau hier wird es heikel.
Die Theranos-Frage
Investor Dan McAteer bringt es auf den Punkt: SubQ sei entweder der größte Durchbruch seit dem Transformer selbst — oder das ‘AI Theranos’. Will Depue, ehemals bei OpenAI, formuliert es diplomatischer: Die öffentlichen Belege rechtfertigten die stärkere Behauptung noch nicht, dass das quadratische Attention-Problem gelöst sei.
CEO Justin Dangel gibt sich derweil unbeirrt: In ein paar Jahren werde niemand mehr auf Transformern bauen.
Meine Einordnung
Ich finde die Geschichte faszinierend — gerade weil sie so polarisiert. Die Zahlen sind beeindruckend, die unabhängige Validierung ist ein gutes Zeichen. Aber solange SubQ nicht breit zugänglich ist, bleibt ein großes Fragezeichen. Echte Durchbrüche beweisen sich nicht durch Pressemitteilungen, sondern dadurch, dass andere sie reproduzieren können.
Was mich nachdenklich macht: Wenn es stimmt, wäre das tatsächlich ein Paradigmenwechsel. Und wenn nicht, wird es ein Lehrstück darüber, warum unabhängige Reproduzierbarkeit in der KI-Forschung nicht verhandelbar ist. In beiden Fällen lohnt es sich, diese Geschichte im Auge zu behalten.
Quellen: MIT Technology Review, VentureBeat