Modelle & Forschung

Nemotron 3.5 Transcribe: Nvidias offenes Modell transkribiert 40 Sprachen in einem Durchgang

2 Min. Lesezeit KI-generiert

30 Milliarden Parameter, davon 4 Milliarden aktiv. Das Modell läuft auf einer einzelnen GPU, vom Jetson AGX Thor bis zur Blackwell-Karte im Rechenzentrum.

Featured image for "Nemotron 3.5 Transcribe: Nvidias offenes Modell transkribiert 40 Sprachen in einem Durchgang"

Nvidia hat Nemotron 3.5 Transcribe veröffentlicht, ein Modell mit offenen Gewichten für mehrsprachige Transkription und Übersetzung. Dazu kommt eine offene Datenpipeline zum Nachtrainieren. Beides liegt auf Hugging Face und ModelScope.

Vier Schritte in einem Modelldurchlauf

Klassische Transkriptionssysteme arbeiten in Etappen: Sprache erkennen, transkribieren, Sprecher zuordnen, dann Fragen zum Ergebnis beantworten. Transcribe macht das in einem Durchgang und verarbeitet bis zu 100 Stunden Audio. Es transkribiert 40 Sprachen und übersetzt 31 davon.

Technisch ist es ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern, von denen 4 Milliarden aktiv sind. Das passt auf überschaubare Hardware – eine einzelne Nvidia-GPU genügt, vom Jetson AGX Thor über den DGX Spark bis zur Blackwell-Karte im Rechenzentrum.

Steuern lässt sich das Ganze per Prompt. Derselbe Checkpoint macht aus einer Besprechungsaufnahme verschiedene Ausgaben, je nach Anweisung: „Transkribiere die Aufnahme und beschrifte jeden Sprecher“, „Übersetze dieses Audio ins Englische“, „Welche Entscheidungen sind in diesem Meeting gefallen?“ Fachbegriffe kann man dem Modell vorher mitgeben.

Wo es in den Ranglisten steht

Auf dem Open ASR Leaderboard von Hugging Face führt Transcribe die Modelle mit offenen Gewichten für Englisch an. Bei der Sprecherzuordnung hat es die niedrigste Fehlerquote auf dem 21-sprachigen Diarisierungs-Leaderboard von David AI und liegt im 14-System-Vergleich von VoiceArena vorn.

Die Wortfehlerrate nennt Nvidia mit 30,8 Prozent ohne Nachhilfe, 20,8 Prozent mit sorgfältigem Prompting. Nachtrainiert auf einen Fachbereich fällt sie deutlich: auf dem indischen Medizin-Sprachbenchmark von Eka Care auf 11,8 Prozent.

Der Datensatz ist der eigentliche Hebel

Für das Modell hat Nvidia seinen offenen Sprachdatensatz Granary auf Version 2 erweitert, gebaut mit NeMo Curator. Das öffentliche Manifest deckt 463.062 Stunden in 48 Sprachen aus 16 Quellkorpora ab, zuvor waren es 25 Sprachen.

Darauf würde ich achten, nicht auf die Fehlerquoten. Ein offenes Modell mit guten Zahlen ist ein Produkt und in sechs Monaten überholt. Ein offener Datensatz dieser Größe samt wiederverwendbarer Kurationspipeline ist Grundlage, auf der auch andere Häuser bauen – und 48 Sprachen sind ein Angebot an genau die Regionen, die in Sprachmodellen üblicherweise nicht vorkommen.

Quellen

NvidiaOpen SourceModelle