Whisper

Whisper ist ein super Modell, was eben Open-Source verfügbar ist und gefinetuned werden kann. Es gehört zu den Top-Modellen in der STT-Welt und kann gut verwendet werden um verschiedene Aufgaben im ML-Bereich zu lösen, Transkription, Übersetzung etc.

Natürlich ist es in der englischen Sprache am stärksten, es wäre super wenn auch andere Sprache annähernd so stark wären, aber das liegt leider an der Verfügbarkeit der Daten. Zudem ist Whisper ein End-to-End Modell, sprich es ist quasi eine Blackbox und man kann leider auch Teilschritte nich so einfach ausstellen. Zum Beispiel setzt das Modell automatisch Satzzeichen und macht Groß- und Kleinschreibung. Nicht in jedem Use-Case ist das sinnvoll.

Spracherkennung, Übersetzung von Texten. Das Modell wurde auf einem riesigen Datensatz trainiert, was schwer zu kopieren ist, daher ist es in mehreren Sprachen stark und aktuell eines der besten Modelle. Modelle in der Größe können nur von wenigen Unternehmen trainiert werden, daher ist es gut dass es Open-Source auch verfügbar ist.

Whisper von OpenAI liefert wirklich gute Transkriptionen und ist auch Multilingual, sprich verfügbar in einer Vielzahl von Sprachen. Es kann auch Interpunktion und Groß und Kleinschreibung relativ gut und gehört mit zu den besten ASR Modellen unserer Zeit.

Es ist ein sehr großes Modell und daher ist es für die Einbindung in Streaming und Realtime Transkriptionen etwas langsam. Durch die Vielzahl an Parameter und vor allem durch die multilinguale Ausrichtung ist es sehr groß, was die Performance beeinträchtigt. Auch beim Pricing sollte man seine Use Cases genau durchrechnen.

Transkriptionen, Übersetzungen, Interpunktion und Groß-und Kleinschreibung. Erkennung von Sprache und Umwandlung in Text.