Prime Video setzt künstliche Intelligenz ein, um Mundbewegungen in synchronisierten Serien und Filmen anzupassen. Die Technologie, die erstmals bei der deutschen Erfolgsserie Maxton Hall für die englische Sprachfassung genutzt wird, korrigiert die Bildspur nach der professionellen Synchronisation durch Menschen.
Maxton Hall macht den Anfang: Wie Prime Videos neue Lippen-KI arbeitet
Der Streamingdienst Prime Video hat weltweit eine Funktion gestartet, die ein bekanntes Ärgernis beim Anschauen internationaler Produktionen beheben soll. Die Software passt die Mundbewegungen von Schauspielern an bereits aufgenommene und übersetzte Audiofassungen an. Den Auftakt für den weltweiten Rollout macht dabei die deutsche Serie Maxton Hall, deren erste zwei Staffeln mit der neuen Technologie in englischer Sprache abrufbar sind.
Die Vorlage für das Format bildet die Bestseller-Romanreihe von Mona Kasten. Die Geschichten rund um Ruby und James an einem britischen Elite-Internat haben sich nach Unternehmensangaben zu der bislang erfolgreichsten internationalen Eigenproduktion des Streamingdienstes entwickelt.
Technische Trennung: Menschliche Stimmen treffen auf visuelle Korrektur
Im Gegensatz zu vollautomatischen Synchronisationssystemen, die komplett auf künstliche Stimmen setzen, verfolgt Amazon einen zweistufigen Ansatz. Die eigentliche Sprachfassung wird weiterhin von professionellen menschlichen Sprechern aufgenommen. Erst im Anschluss greifen KI und visuelle Effekte in das Videobild ein, um die Lippen der Darsteller exakt auf die gesprochenen Wörter abzustimmen.
„With lip-syncing, we’re creating a more seamless and immersive way for customers to enjoy global content, And for creators, we’re making it easier for their stories to reach an even broader and global audience, all done under creative oversight to ensure the integrity of their artistic vision is preserved.“
Raf Soltanovich, Vice President of Technology at Prime Video and Amazon MGM Studios
9. Dezember als nächster Meilenstein für die finale Staffel
Für die Fans der Serie gibt es bereits einen festen Termin im Kalender. Wenn die dritte und gleichzeitig letzte Staffel von Maxton Hall am 9. Dezember ihre Premiere bei Prime Video feiert, soll die bildbasierte Lippenanpassung direkt von Beginn an zum Einsatz kommen. Bislang hat das Unternehmen noch keine Auskunft darüber erteilt, welche weiteren Serien oder Filme im Anschluss von der Technologie profitieren werden.
Der aktuelle Schritt geht deutlich über frühere Versuche des Anbieters hinaus. Bereits im Vorjahr hatte das Unternehmen mit KI-gestützten Dubbing-Experimenten in englischer und spanischer Sprache bei zwölf verschiedenen Filmen und Serien wie El Cid: La Leyenda, Mi Mamá Lora und Long Lost experimentiert. Damals konzentrierten sich die Tests jedoch ausschließlich auf die Tonspur, während die jetzt gestartete Technik direkt das Videobild verändert.
Wettbewerb im Streaming- und Creator-Markt
Amazon agiert in diesem Segment nicht als einziger Vorreiter. Auch andere große Tech-Konzerne treiben die Entwicklung von automatisierten Übersetzungen und optischen Anpassungen voran. So haben im Laufe der Zeit sowohl Meta als auch YouTube entsprechende Funktionen für Kreative eingeführt, die Sprachübersetzungen mit optionalen Lippen-Synchronisationen versehen. Während sich diese Angebote meist an unabhängige Videomacher richten, wendet Prime Video das Verfahren gezielt auf aufwendig produzierte, skriptbasierte Serien an.
Verwandte Artikel
