Block, das Unternehmen von Jack Dorsey, hat am 23. Oktober ein Sprachmodell namens Dessa vorgestellt. Die Besonderheit steht im ersten Satz der Ankündigung: Dessa wurde von Grund auf auf nichts als menschlichen Gesprächen trainiert. Kein Text, keine vortrainierten Modelle. Nur Ton.
Das Ergebnis ist ein echtes Speech-to-Speech-Modell: Audio rein, Audio raus, ohne den Umweg über Text. Es arbeitet im Vollduplex, hört also zu und spricht gleichzeitig, und es weiß, wann es einhaken kann und wann ein „ja“ oder „ooh“ genügt, um zu zeigen, dass es noch dabei ist. Die Inferenz läuft schneller als in Echtzeit, und zwar lokal auf einem MacBook Pro M4 Max oder besser.
Warum der Textumweg etwas kostet
Das Argument von Block gegen die üblichen Sprachassistenten ist handfest: Wer Sprache in Text verwandelt, wirft weg, was Text nicht tragen kann. Betonung, Pausen, Atmen, Sarkasmus, eine Stimme, die bricht. Sprich den Satz „Ich habe nicht gesagt, dass sie meinen Code geklaut hat“ laut aus und betone jedes Mal ein anderes Wort – dieselben Wörter, jedes Mal eine andere Bedeutung.
Genau das soll Dessa nativ hören und auch selbst erzeugen. In den Aufnahmen auf der Projektseite lacht das Modell mitten im Satz, keucht bei einer Überraschung ein leises „oh my god“ und wird lauter, wenn man es darum bittet. Das Team schreibt, niemand habe ihm das beigebracht. Eine der Aufnahmen ist ein Gespräch zwischen Dessa und OpenAIs Sprachmodell GPT-Live-1.
Die Trainingszahlen sind das eigentlich Erstaunliche
Sprachmodelle brauchen gewaltige Textmengen. Dessa hat Sprache aus mehreren Hundert Mal weniger Wörtern gelernt, und dabei zusätzlich Akzente, Pausen, Humor und Timing mit aufgenommen. Dazu kommt, dass Sprache sich nie wiederholt: Derselbe Satz, zweimal gesprochen, ergibt zweimal andere Daten, während Text identisch bleibt, egal wer ihn tippt. Und ein gesprochenes Wort braucht tausendfach mehr Bytes als dasselbe Wort geschrieben.
Trainiert hat Block das Modell auf einer einzigen NVIDIA GB200 NVL72. Hinter Dessa steht ein kleines Forschungsteam bei Block, gegründet von früheren Mitarbeitern des Toronter Deep-Learning-Start-ups Dessa, mit sechs Forschern und drei Praktikanten. Es berichtet direkt an Dorsey. Geleitet wird es von Ragavan Thurairatnam.
Das Sicherheitsargument wiegt am schwersten
Block nennt drei Gründe für das Projekt: Neugier, besseres Verständnis zwischen Mensch und KI, und Sicherheit. Das dritte verdient Aufmerksamkeit. Ein Sprachassistent, der Emotion erst hinter der Transkription sieht, merkt nicht, dass jemand vor Schmerzen kaum sprechen kann, und redet weiter. Für ein System, das Entscheidungen übernimmt, ist das kein Komfortproblem.
Dass das Team nun eine kleine Gruppe von Sicherheitsforschern mit frühem Zugang ausstattet, passt dazu – und ist auch nötig. Ein Modell, das Emotion direkt aus Ton liest und direkt in Ton zurückgibt, hat Angriffsflächen, für die es keine Erfahrungswerte gibt. Prompt Injection über einen Tonfall ist bisher niemandes Bedrohungsmodell.
Veröffentlicht sind bisher nur Aufnahmen und eine Projektseite, Gewichte und API fehlen, Benchmarks ebenso. Für die Beurteilung heißt das: Was hier zu hören ist, hat Block ausgewählt. Die Richtung bleibt trotzdem bemerkenswert, denn sie widerspricht der Annahme, dass der Weg zu guter Sprach-KI über immer bessere Textmodelle führt.