1) Worum geht es: Es häufen sich auf YouTube in letzter Zeit immer mehr die Videos, deren Sprecher in .en (oder einer anderen Sprache) sprechen, während die Sprachausgabe aber in einer anderen Sprache, z.B. in .de erfolgt. Hier wurde also die Audio-Spur des Videos irgendwie so bearbeitet, dass sie in einer anderen Sprache ausgegeben werden kann. Der Fachausdruck dafür ist „Multi-Language-Audio„. Das Ziel dabei ist, den Sprecher so perfekt zu imitieren, dass man glauben möchte, er spricht tatsächlich in der ausgegebenen Sprache. Das ist das Thema dieses Beitrags. Es ist sehr spannend zu sehen, wie diese „Hexerei“ technisch umgesetzt wurde.
2) Beginnen wir mit einem kurzen historischen Rückblick und einem Ausblick: 1: Die Entwicklung dieses Features reicht überhaupt nicht so weit zurück wie das bei dem Feature des Untertitels der Fall war. Es muß wohl 2023 mit einer zweijährigen, sehr exklusiven Testphase begonnen haben. 2: Am 10./11.9.25 – also nur ein klein Bißchen mehr als vor einem Jahr – wurde das Feature offiziell für Millionen von Creators ausgerollt, wobei die Gemini-KI im Hintergrund automatisch fremdsprachige Tonspuren erzeugen konnte, die den echten Tonfall und die Emotionen des Sprechers beibehalten (Gemini-powered Auto-Dubbing) (Auto-Dubbing kann in erster Annäherung als „Selbst-Synchronisation“ übersetzt werden). 3: Am 4.2.26 wurde die nächste Stufe gezündet: Bis zu diesem Zeitpunkt klangen die automatisch übersetzten Tonspuren oft noch etwas unnatürlich. Am 4.2.26 schloss Google die tiefe Systemintegration ab, indem sie das Feature „Expressive Speech“ via Gemini-KI für alle Creators in 27 Sprachen freischaltete. Seit genau dieser Woche ist die KI in der Lage, Tonhöhe, Intonation und die rein menschliche Energie nahtlos aus dem Original (z. B. Englisch) in die Übersetzung (z. B. Deutsch) zu übertragen. 4: Erst vor gut zwei Wochen (am 23.9.26) hat Google auf dem Event Made on YouTube die nächste Stufe angekündigt: Die Gemini-Integration wird ab Anfang 2027 sogar Live-Auto-Dubbing erlauben – Livestreams werden dann also per Gemini in Echtzeit synchronisiert.
3) Dubbing & Auto-Dubbing & Live-Audio-Dubbing & Auto-Lip-Sync:
1: Dubbing: Schon vor Jahrzehnten wollten Filmproduzenten, z.B. Hollywood-Produzenten, ihre Filme über den englischsprachigen Markt hinaus verkaufen. Wollte man die Zielsprache, z.B. deutsch, nicht nur als Untertitel einblenden oder gar die Originalsprecher einfach in der Zielsprache übersprechen, mußte man eine neue Sprachfassung anlegen. Diese sollte das Original so genau imitieren, dass es nicht oder kaum auffiel, dass das Original in einer anderen Sprache produziert worden war. Es mußte z.B. lippen-synchrom produziert werden. Normalerweise brauchte man für ein synchronisiertes Video ein ganzes Studio voller Menschen: Übersetzer, Dialogbuchautoren, Tontechniker und professionelle Synchronsprecher. Das kostete tausende Euro und dauerte Tage.
2: Auto-Dubbing bei Youtube für mehr als eine Sprache: 0. Von der manuellen Vorgehensweise wird abgesehen. 1. Im Prinzip geht es allgemein um die folgenden Schritte: Audio trennen (1), Text generieren, Text übersetzen (bis hierhin wie bei der „Untertitelung“), neue Sprache erzeugen und alles synchroniseren (5). 2. In der Praxis generiert YouTube keine starre Gesamtdatei, sondern alle „Fragmente“ (Bild, Originalton, jede zusätzliche Sprache und alle Untertitel) liegen als einzelne, separate Dateien (Module) auf den Google-Servern. Erst wenn der Zuschauer auf „Play“ drückt, baut der YouTube-Player im Browser oder in der App diese Module in Echtzeit spezifisch zusammen. 3. Das Untertitel-Modul genauer: Noch nicht gesagt wurde, dass die Audio-Datei mit Zeitstempeln versehen wird, darin steht z.B millimetergenau von welcher Sekunde bis zu welcher Sekunde ein bestimmten Wort gesprochen wird. Erst derartige Zeitstempel (die Zeitstempel-Landschaft ist komplexer als das vorherige Beispiel erahnen läßt) ermöglichen die perfekte Synchronisation. 4. Das mächtige Auto-KI-Dubbing-Tool (angetrieben von Google´s Gemini-Technologie): Nach der Übersetzung: 1. Text-to-Speech (Sprachsynthese): Eine KI-Stimme liest diesen übersetzen Text laut vor. 2. Klonen von Emotionen („Expressive Speech„): Die KI analysiert Tonfall, Tonhöhe und Emotionen und überträgt diese Merkmale auf die fremdsprachige KI-Stimme.
3: Live-Audio-Dubbing ist noch Zukunftsmusik. Wir warten mit genaueren Infos ab, bis es da ist.
4: Ähnliches gilt auch für Auto-Lip-Sync, also die automatische KI-Lippensynchronisation, die Google spät in 2025 offiziell angekündigt hat; bislang bewegen sich die Lippen immer noch in der Originalsprache. Das Feature befindet sich aktuell in einer erweiterten, geschlossenen Pilotphase (Beta-Test). Ein Erscheinungstermin, also die Freigabe für alle 30 Millionen Creators, wurde noch nicht genannt. Dieses Feature kommt mit enormen Risiken daher: Es wird gigantische Server-Ressourcen bei Google verbrauchen. Da dabei Gesichter manipuliert werden, sind damit gewichtige Security-Probleme verbunden.
(12.10.26)
Schreibe einen Kommentar