Nvidia startet Modell zur Sprachtranskription in 40 Sprachen
Nvidia hat am 28. Oktober die Veröffentlichung von Nemotron 3.5 Transcribe angekündigt. Dabei handelt es sich um ein KI-Modell, das gesprochene Sprache in 40 Sprachen in Text umwandelt.
Neben der Transkription übersetzt die Lösung aus dem Englischen in 31 weitere Sprachen. Außerdem erkennt sie, welchem Teilnehmer eines Gesprächs die jeweilige Äußerung zuzuordnen ist, was in 13 Sprachen funktioniert. Laut PC Watch kann das Modell eine Audioaufnahme von bis zu einer Stunde Länge in einem Durchgang verarbeiten.
Die Basisversion ist bereits auf der Plattform Hugging Face verfügbar. Nvidia hat die Gewichte des Modells, also die für den Betrieb erforderlichen Parameter, offengelegt und erlaubt die kostenlose kommerzielle Nutzung unter der Lizenz OpenMDW-1.1. Versionen mit FP8- und NVFP4-Quantisierung will das Unternehmen später veröffentlichen. Die Quantisierung verringert die Genauigkeit der Parameterdarstellung und senkt dadurch den Bedarf an Rechenleistung und Speicher.
Den Ergebnissen des Tests Hugging Face Open ASR zufolge lag die durchschnittliche Wortfehlerrate bei 5,33 % für Englisch, 4,62 % für sieben Sprachen und 10,98 % für lange Aufnahmen. Nach Angaben von Nvidia hat Nemotron 3.5 Transcribe in allen diesen Kategorien andere Modelle mit offenen Gewichten übertroffen.
In einer separaten Leistungsprüfung verarbeitete die NVFP4-Version 100 Stunden Audiomaterial in weniger als drei Minuten. Der Test lief auf einem System mit einem einzelnen Beschleuniger vom Typ Nvidia RTX PRO 6000 Blackwell Server Edition. Dieses Ergebnis gilt für die genannte Konfiguration und bedeutet nicht, dass eine einstündige Aufnahme auf jedem beliebigen Gerät gleich schnell verarbeitet wird.
Das Modell lässt sich bereits über vLLM bereitstellen. Der lokale Betrieb mit NeMo-Speech.cpp soll zusammen mit den quantisierten Versionen verfügbar werden.