So.. Aug. 17th, 2025
Das Potenzial von KI zur Revolutionierung der Sprachsynchronisation in Film und Fernsehen

Ein integraler Bestandteil der Geschäftstätigkeit von XYZ Films ist die Identifizierung internationaler Filme mit potenziellem Reiz für den US-amerikanischen Markt.

Maxime Cottray ist Chief Operating Officer des unabhängigen Studios mit Sitz in Los Angeles.

Laut Herrn Cottray stellte der US-Markt in der Vergangenheit Herausforderungen für fremdsprachige Filme dar.

„Seine Reichweite war traditionell auf Zuschauer an der Küste von New York durch Art-House-Filme beschränkt“, erklärte er.

Diese Einschränkung ist zum Teil auf eine Sprachbarriere zurückzuführen.

„Anders als Europa hat Amerika keine Kultur entwickelt, die an Untertitel oder Synchronisation gewöhnt ist“, bemerkte er.

Diese Sprachbarriere könnte jedoch mit dem Aufkommen neuer KI-gesteuerter Synchronisationssysteme leichter zu bewältigen sein.

Kürzlich wurden Audio und Video von „Watch the Skies“, einem schwedischen Science-Fiction-Film, mit einem digitalen Tool namens DeepEditor bearbeitet.

Dieses Tool manipuliert das Video, um die Illusion zu erzeugen, dass die Schauspieler die Sprache, in die der Film synchronisiert wird, von Natur aus sprechen.

„Als ich vor zwei Jahren zum ersten Mal die Fähigkeiten dieser Technologie sah, war ich beeindruckt. Nachdem ich jedoch die neueste Version gesehen habe, ist sie wirklich bemerkenswert. Ich bin zuversichtlich, dass der durchschnittliche Zuschauer nicht erkennen könnte, dass die Schauspieler die Zielsprache nicht ursprünglich gesprochen haben“, bemerkte Herr Cottray.

Die englischsprachige Version von „Watch The Skies“ wurde im Mai in 110 AMC Theatern in den USA veröffentlicht.

„Um dies ins rechte Licht zu rücken: Ohne die englische Synchronisation wäre der Film nicht in US-Kinos gezeigt worden“, erklärte Herr Cottray.

„Das US-amerikanische Publikum konnte einen schwedischen Independent-Film erleben, der ansonsten auf eine sehr kleine Zuschauergruppe beschränkt gewesen wäre.“

Er merkte auch an, dass AMC beabsichtigt, in Zukunft ähnliche Veröffentlichungen zu verfolgen.

DeepEditor wurde von Flawless entwickelt, einem Unternehmen mit Hauptsitz in Soho, London.

Scott Mann, ein Autor und Regisseur mit Credits wie „Heist“, „The Tournament“ und „Final Score“, gründete das Unternehmen im Jahr 2020.

Er hatte das Gefühl, dass traditionelle Synchronisationstechniken, die für internationale Versionen seiner Filme verwendet wurden, oft nicht die emotionale Tiefe der Originale einfingen.

„Als ich 2014 an ‚Heist‘ arbeitete, der mit Robert De Niro eine brillante Besetzung hatte, und dann sah, wie der Film in eine andere Sprache übersetzt wurde, wurde mir klar, warum Filme und Fernsehsendungen nicht immer gut übersetzt werden. Der traditionelle Ansatz der Synchronisation verändert den Film grundlegend“, sagte Herr Mann, der jetzt in Los Angeles lebt.

„Die Synchronisation ist oft nicht synchron und wird anders ausgeführt. Aus der Sicht eines Film-Puristen sieht der Rest der Welt ein Produkt von deutlich geringerer Qualität.“

Flawless entwickelte seine proprietäre Technologie zur Identifizierung und Modifizierung von Gesichtern, basierend auf einer Methode, die erstmals in einem Forschungsbericht aus dem Jahr 2018 beschrieben wurde.

„DeepEditor verwendet eine Kombination aus Gesichtserkennung, Gesichtserkennung, Landmarkenerkennung [wie z. B. Gesichtsmerkmale] und 3D-Gesichtsverfolgung, um das Aussehen, die physischen Aktionen und die emotionale Leistung des Schauspielers in jeder Aufnahme zu verstehen“, erklärte Herr Mann.

Er gibt an, dass die Technologie die ursprünglichen Leistungen von Schauspielern über verschiedene Sprachen hinweg bewahren kann, ohne dass Nachdrehs oder Neuaufnahmen erforderlich sind, was sowohl Kosten als auch Produktionszeit reduziert.

Laut Herrn Mann war „Watch the Skies“ der erste Spielfilm der Welt, der vollständig visuell synchronisiert wurde.

Zusätzlich zu der Möglichkeit, dass ein Schauspieler eine andere Sprache zu sprechen scheint, kann DeepEditor auch eine überlegene Leistung von einer Aufnahme auf eine andere übertragen oder neue Dialoge einfügen, während der emotionale Inhalt der ursprünglichen Leistung erhalten bleibt.

Angetrieben durch die Verbreitung von Streaming-Plattformen wie Netflix und Apple wird der globale Markt für Filmsynchronisationen von 4 Milliarden US-Dollar (3 Milliarden Pfund) im Jahr 2024 auf 7,6 Milliarden US-Dollar im Jahr 2033 steigen, so ein Bericht von Business Research Insights.

Herr Mann lehnte es ab, die genauen Kosten der Technologie zu nennen, und wies darauf hin, dass sie je nach Projekt variieren. „Ich würde schätzen, dass es etwa ein Zehntel dessen kostet, was es kosten würde, die Szene auf andere Weise neu zu drehen oder zu verändern.“

Zu seinen Kunden gehören „praktisch alle großen Streaming-Dienste“.

Herr Mann glaubt, dass diese Technologie es Filmen ermöglichen wird, ein breiteres Publikum zu erreichen.

„Es gibt eine enorme Menge an unglaublichem Kino und Fernsehen, das von englischsprachigen Zuschauern einfach nicht gesehen wird, von denen viele zögern, Inhalte mit Synchronisation und Untertiteln anzusehen“, erklärte er.

Herr Mann betont, dass die Technologie nicht dazu gedacht ist, Schauspieler zu ersetzen, und dass Sprecher anstelle von synthetischen Stimmen verwendet werden.

„Wir haben festgestellt, dass es der effektivste Ansatz ist, den Kreativen und Künstlern selbst die Werkzeuge zur Verfügung zu stellen… es befähigt sie, ihre Kunst zu schaffen und das Endprodukt zu verbessern. Dies steht im Gegensatz zu dem Ansatz vieler anderer Technologieunternehmen.“

Neta Alexander, eine Assistenzprofessorin für Film und Medien an der Yale University, warnt jedoch, dass die Aussicht auf eine breitere Verbreitung zwar ansprechend ist, die Verwendung von KI zur Neukonfiguration von Leistungen für nicht-muttersprachliche Märkte jedoch das Risiko birgt, die Eigenständigkeit und Textur von Sprache, Kultur und Gestik zu untergraben.

„Wenn alle ausländischen Filme so angepasst werden, dass sie Englisch aussehen und klingen, wird die Beziehung des Publikums zum Fremden zunehmend vermittelt, synthetisch und bereinigt“, warnt sie.

„Dies könnte die interkulturelle Kompetenz entmutigen und die Unterstützung für Untertitel oder Originalsprachvorführungen schmälern.“

Darüber hinaus argumentiert sie, dass die Verdrängung von Untertiteln, die ein wichtiges Werkzeug für Sprachlerner, Einwanderer, gehörlose und schwerhörige Zuschauer und viele andere sind, Bedenken hinsichtlich der Zugänglichkeit aufwirft.

„Untertitel sind nicht nur eine Notlösung, sondern eine Methode, um die Integrität sowohl des visuellen als auch des auditiven Geschichtenerzählens für ein vielfältiges Publikum zu bewahren“, argumentiert Prof. Alexander.

Der Ersatz durch automatisierte Mimikry deutet ihrer Meinung nach auf eine besorgniserregende Verschiebung hin zu einer kommerzialisierten und einsprachigen Filmkultur hin.

„Anstatt uns darauf zu konzentrieren, wie wir ausländische Filme für ein englischsprachiges Publikum zugänglicher machen können, sollten wir besser darüber nachdenken, wie wir ein Publikum kultivieren können, das bereit ist, sich mit vielfältigem Kino zu seinen eigenen Bedingungen auseinanderzusetzen.“

Rund 170 Millionen Nutzer haben Zugriff auf die neue Standortfreigabe-Funktion von Instagram erhalten, warum ist die Karte dann so leer?

Teams aus 16 Ländern treten im Rahmen der World Humanoid Robot Games in Peking, China, in einer Reihe von Sportarten wie Fußball, Leichtathletik und Tanz gegeneinander an.

Das Innenministerium sagt, die Technologie helfe bei der Ortung von Verdächtigen, aber Bürgerrechtsgruppen warnen vor verstärkter Überwachung.

Das südamerikanische Land kämpft im Vorfeld seiner jüngsten Parlamentswahlen mit einer sehr hohen Inflation.

Der Großteil des Internets ist für Sie unerreichbar, aber die Barriere sind nicht nur Algorithmen. In einer anderen Sprache verwandeln sich dieselben Plattformen in ganz andere Welten.

Von ProfNews