Virales KI-Synchronisations-Tool Heygen: Die finale Stufe der Globalisierung der Creator Economy?

1. Großer Andrang auf der Heygen-Website
2. Werden Star-Youtuber bald ihre weltweite Reichweite potenzieren?
3. Youtube testet ein eigenes Tool
4. 15 Prozent mehr Watchtime dank mehrsprachiger Videos
5. Chancen für Creator*innen und Marketeers?
6. Weltweit beackern viele Startups das Feld

Marques Brownlee alias "MKBHD" auf Spanisch, Elon Musk auf Französisch, Emma Chamberlain auf Italienisch und Casey Neistat Hindi sprechend: Die Software Heygen führt gerade auf atemberaubende Weise vor, wie leistungsfähig KI-basierte Übersetzungs-Tools mittlerweile sind. Das Tool vermittelt einen Vorgeschmack der Globalisierung, die der Creator Economy bevorstehen könnte. Denn auch Video-Riese Youtube testet bereits ein ähnliches Tool mit Hunderten von Creator*innen. OMR zeigt Beispiele und erklärt die Hintergründe.

"In Ordnung, angeblich ist dies ein Vokal-Übersetzer, der per Drag-and-Drop funktioniert. Also kann ich das einfach fallenlassen und theoretisch sollte es die neue Sprache machen und dann auch meine Lippenbewegungen übersetzen" – es ist kein fehlerfreies Deutsch, das der US-Amerikaner Jon Finger in dem Video spricht, das er vor wenigen Tagen auf X (ehemals Twitter) veröffentlicht hat. Das Beeindruckende an dem Clip ist dementsprechend auch nicht dessen sprachliche Korrektheit, sondern vielmehr, dass die zitierten Sätze in Wirklichkeit nie über Fingers Lippen gekommen sind.

Großer Andrang auf der Heygen-Website

Stattdessen hat das KI-Tool Heygen Fingers englischsprachiges Originalvideo übersetzt, seine Stimme (unter Verwendung einer weiteren Software von Eleven Labs) geklont und ein neues Video generiert, in dem der Finger lippensynchron Deutsch und Französisch spricht. All das geschah automatisiert; Finger musste lediglich das Originalvideo auf Heygens Server laden. Das Ergebnis wurde bislang alleine auf X rund 6,8 Millionen Mal abgerufen.

Was Finger getan hat, kann auf der Heygen-Website im Prinzip jeder nachmachen – aktuell sogar kostenlos. Im Moment ist jedoch der Andrang so hoch, dass fast 180.000 Videos in der Warteschlange sind. Videos von zahlenden Nutzer*innen (je nach Zahlungsweise 48 oder 59 US-Dollar pro Monat) sollen jedoch schneller bearbeitet werden.

Werden Star-Youtuber bald ihre weltweite Reichweite potenzieren?

Heygen schlägt hohe Wellen. Auch Vertreter*innen der deutschen Medien- und Marketingwelt haben das Tool des Unternehmens getestet, ihre damit erstellten Videos veröffentlicht und teilweise fünf- bis sechsstellige Abrufzahlen eingesammelt: Krautreporter Bent Freiwald, E-Commerce-Vordenker Alexander Graf, Tech-Journalistin Svea Eckert und Kommunikationsberater Hendrik Wieduwilt.

Ein weiteres, von Heygen selbst veröffentlichtes Video, lässt noch deutlicher erahnen, dass der Szene der Content Creator*innen eine neue Stufe der Globalisierung bevorstehen könnte. Es zeigt Star-Youtuber wie Marques Brownlee ("MKBHD"), Emma Chamberlain und Casey Neistat sowie Unternehmer-Promi Elon Musk (im Podcast von Joe Rogan) in "fremden" Sprachen sprechend.

Youtube testet ein eigenes Tool

Heygen ist in China gegründet worden und hieß zunächst Surreal, dann Movio. Mittlerweile ist das Startup in den USA ansässig und hat laut einem Techcrunch-Bericht aus dem Jahr 2022 bislang neun Millionen US-Dollar u.a. von IDG, Sequoia Capital China und Baidu eingesammelt. "Video-Übersetzung kann eine große Rolle für Youtuber und für den Online-Learning-Bereich spielen", prognostizierte Gründer Joshua Xu vor wenigen Tagen in einem Video auf Linkedin. "Das Abbauen von Sprachhürden macht Inhalte für die ganze Welt zugänglich, nicht nur für die zehn Prozent der Menschen, die Englisch sprechen."

Diese Entwicklung will Youtube offenkundig selbst mit antreiben. Im Juni verkündete Amjad Hanif, im Youtube-Vorstand für Produktentwicklung verantwortlich, übereinstimmenden Presseberichten zufolge auf der Bühne des Szene-Treffs Vidcon, dass die Bewegtbildplattform ein ähnliches Tool wie Heygen entwickle. Hunderte von Kanalbetreiber*innen würden die Software bereits testen, heißt es bei The Verge, darunter der Wissenschafts-Cartoon-Channel "The Amoeba Sisters" sowie (laut Rest of World) der geschichtliche Kanal "Kings and Generals" und (laut Advertising Age) Lia Shelesh alias "Sssniperwolf".

15 Prozent mehr Watchtime dank mehrsprachiger Videos

Laut The Verge basiert Youtubes Tool auf der Software von Aloud, einem Startup aus dem internen Google-Startup-Inkubator Area 120. Auf der Aloud-Website können sich Interessent*innen für die Teilnahme an einem "Early Access Programm" bewerben. Ein ein Jahr altes Demo-Video des Startups auf Youtube zeigt, dass die Aloud-Software (zumindest zum Zeitpunkt der Erstellung) noch keine lippensynchronen Videos erstellen kann. Wie Youtube-Sprecherin Jessica Gibby gegenüber The Verge erklärte, sei diese Funktion für das Jahr 2024 geplant.

Im Februar dieses Jahres hat Youtube bereits die Möglichkeit eingeführt, Videos mehrsprachig zur Verfügung zu stellen. Laut Youtube verzeichnen Kanalbetreiber*innen mit mehrsprachigen Videos eine 15 Prozent höhere Watchtime. Die Videos von Youtube-Superstar Jimmy Donaldson alias MrBeast sind seitdem in 14 Sprachen abrufbar; sie werden bislang jedoch von professionellen, teilweise in den jeweiligen Ländern prominenten Synchronstimmenn nachvertont.

Chancen für Creator*innen und Marketeers?

Marc Hustvedt, Chef der "MrBeast Company", hob laut Advertising Age auf der Vidcon die durch mehrsprachigen Content entstehenden Chancen hervor: auf der einen Seite das Reichweitenpotenzial für Content Creator*innen, denn schließlich seien von den 1,2 Milliarden Menschen, die nach 2010 geboren sind, nur zwei Prozent aus den USA. Der größte Teil der Youtube-Zuschauerschaft stamme aus Indien.

Auf der anderen Seite könnten Marken und Marketingmacher*innen künftig mit Creator*innen viel leichter globale Kampagnen fahren: "Ich glaube, dass Creator*innen derzeit effizienter und besser eine größere Zuschauerschaft erreichen können als die klassische Medienbranche." So habe Online-Shop-Software-Anbieter Shopify durch ein Placement in einem der jüngeren Videos von MrBeast 145 Millionen Zuschauer*innen weltweit erreicht.

Weltweit beackern viele Startups das Feld

Neben Youtube und Heygen beackern aktuell diverse weitere Startups das Feld des "AI Dubbings". Wer eine entsprechende Google-Suche durchführt, stößt auf eine Vielzahl von Anbieter*innen. Im vergangenen Jahr haben laut Techcrunch das israelische Startup Deepdub sowie das britische Unternehmen Papercup jeweils 20 Millionen US-Dollar Funding eingesammelt. Das ebenfalls britische Startup Flawless AI erregte Anfang 2023 Aufmerksamkeit durch Videos, die zeigen, wie sich mittels KI Dialoge in Kinofilme unkompliziert nachbearbeiten lassen.

Ob sich Meta und Tiktok ebenfalls bereits mit der Entwicklung von KI-Synchronisations-Tools beschäftigen? Öffentliche Informationen dazu gibt es bislang nicht. Immerhin: Tiktok hat im Juni jedenfalls ein KI-basiertes Tool vorgestellt, das die Videoproduktion erleichtern soll. Der Script-Generator soll sich aber offenbar vor allen Dingen an potenzielle Werbekund*innen richten.