KI-Synchronisierung...
 
Benachrichtigungen
Alles löschen

Bei Gastbeiträgen müssen diese freigeschaltet werden.

KI-Synchronisierung von Youtube-Videos

22 Beiträge
6 Benutzer
2 Reactions
524 Ansichten
Beiträge: 77
Trusted Member
 

@FatBoySlim: Für eine KI-Nuschel-Stimme von Tom Hardy , Johnny Depp oder Marlon Brando , also Schauspielern , die das Nuscheln - zu meinem Missvergnügen - zelebrieren , reicht die Rechenpower noch nicht. 😉

@Haddekuche: Ich kann doch zB zu Disney-Zeichentrick-Charakteren sehr wohl eine emotionale Beziehung aufbauen. Wenn ich mich mehr für Anime interessieren würde und all die unvertrauten , auf "o" endenden Namen auseinanderhalten könnte , würde ich vermutlich sogar zu den Charakteren dort eine emotionale Beziehung aufbauen. 😉

Ob man es jetzt abwertend Realfilm-Wannabe oder naturalistischen Animationsfilm nennen will , ich sehe in erster Linie das enorme Potenzial.
CGI ist sehr teuer , wenn sie gut aussehen soll , so wie zB in "Avatar: TWOW". Die KI ist eine niederschwellige Alternative , im Prinzip braucht man nur noch eine Idee , den Regisseur (der sich vielleicht sogar selbst die Prompts ausdenkt) und ein Skript/Storyboard (bei denen wiederum die KI behilflich sein kann). Viele spannende Independent-Projekte in der Zukunft!

Du befürchtest Ersetzung , Wiederauferstehung oder De-aging realer Schauspieler. Müsste ich mir erst mal anschauen. Beim letzten "Indiana Jones" hatte ich da zugegebenermassen ein starkes Störgefühl.
Bei der Werbung für Toys "R" Us habe ich es kaum noch , weil die Figuren nicht real sind. Zum ersten Mal ist so etwas jetzt einem breiten Publikum präsentiert worden , das sich - uninformiert - fragt , sind das reale Schauspieler? Und es konnte mit ganz wenig Kohle realisiert werden.
Das "Uncanny Valley" scheint schon fast durchschritten worden zu sein. Ich sehe im SciFi/Fantasy-Bereich schon fantastische neue Welten und fremdartige Figuren vor mir , bei denen der Zuschauer trotzdem das Gefühl hat , dass sie genau so irgendwo/irgendwann existieren könnten.

Mich erinnert die Kontroverse KI-Film vs. Realfilm an die alte Kontroverse Kino vs. Theater. Alle haben ihre Berechtigung. Und mit der VR/Real-time-Technik wird dann noch mal eine andere Dynamik entstehen.

 
Veröffentlicht : 28. Juni 2024 16:46
 muma
Beiträge: 162
Estimable Member
 

Also der Schauspieler ist mir persönlich noch am unwichtigsten. Für mich zählt hier eher, dass er den gespielten Charakter glaubhaft vermittelt und auch ins Bild passt.

Wenn KI das einmal schafft, hat sie für mich gewonnen.

 
Veröffentlicht : 28. Juni 2024 17:37
Beiträge: 6
Active Member
Themenstarter
 

Veröffentlicht von: Chris
CGI ist sehr teuer , wenn sie gut aussehen soll , so wie zB in "Avatar: TWOW". Die KI ist eine niederschwellige Alternative

Ich kenne mich nicht mit den technischen Abgrenzungen aus - ist das so? Im Beispiel von toysRUs besteht der interessante Teil ja auch nur aus sehr wenigen Sekunden, der Rest ist unscharf oder zeigt Undetailiertes. So ganz unaufwendig scheint es mir daher nicht zu sein

Das Ganze geht natürlich irgendwann noch einen Schritt weiter, wenn wir einem Androiden gegenüberstehen werden. Dass wir diesen menschlicher Gesellschaft bevorzugen könnten, kann ich mir schon vorstellen, da man alle seine Mängel wegprogrammieren könnte. Doch im Gegensatz zur KI-Stimme oder dem KI-Schauspieler wäre er physisch vorhanden und damit real.

 

 
Veröffentlicht : 28. Juni 2024 23:26
Beiträge: 77
Trusted Member
 

Ich weiss genau, welche wenigen Sekunden du meinst , die erste Einstellung und die im Laden. Geht mir genauso. Das wirkt real.
Habe nur gelesen , dass der Spot einen Bruchteil von dem gekostet hat , was er mit echten Schauspielern und CGI-Kulissen gekostet hätte, von echten Kulissen müssen wir gar nicht erst anfangen , das Thema ist ja heute schon (fast) durch bei sowas.

 
Veröffentlicht : 29. Juni 2024 01:37
Beiträge: 4
New Member
 

@Haddekuche. Naja. Eine KI-Stimme ist auf jeden Fall genauso physisch vorhanden, wir hören sie ja schließlich ganz real.

Interessant, dass wir mittlerweile so weit gekommen (oder gesunken) sind, uns auf diesem Niveau über "Illusion" zu unterhalten. Wir orientieren uns zunehmend an Technik & Perfektion.

Als Fassbinder vor mehr als 40 Jahren "gepostet" hat. "Film ist keine Illusion", hatte dies noch einen Bezug zu den ganz alten Philosophen, auf der Suche nach den ureigensten menschlichen Beweggründen & der menschlichen Vorstellungskraft, welche stärker als die "Realität" ist.

Jetzt unterhalten wir uns eigentlich lediglich darüber, was "am besten passt".

Freundliche Grüße!

 
Veröffentlicht : 29. Juni 2024 05:42
Chris reacted
Beiträge: 77
Trusted Member
 

Ich finde , man kann es auch so sehen: "Auf der Suche nach den ureigensten menschlichen Beweggründen & der menschlichen Vorstellungskraft" kann KI behilflich sein. Warum sollten sich die Mittel (!) nicht weiterentwickeln dürfen?

 
Veröffentlicht : 29. Juni 2024 08:05
 user
Beiträge: 4
 

Veröffentlicht von: Haddekuche

Die Frage beschäftigt mich: Was ist nun authentischer, das künstliche Original oder die natürliche Nachahmung? Tatsächlich wohl die optimierte KI. Dann kommen auf mich allerdings harte Zeiten zu, da ich die Stimmen der meisten Amerikaner nicht leiden kann - dann kann ich wohl nur noch Briten und Franzosen gucken.

Beim bildlichen Schauspiel wäre bei mir aber Schluss. Man baut zu den Schauspielern ja irgendwie eine emotionale Beziehung auf. In dem Augenblick, wo ich es wüsste - ja, manchmal merke ich es schon heute nicht -, dass es eine generierte Darstellung ist, wäre es mit der Emotion vorbei.

Im Grunde genommen ist nur Original-Ton (OT) wirklich authentisch. Hoffentlich gut gemacht in Zeit, Tonhöhe, wenig Pausen. Ich weiß, dass sie aus technischen Gründen auch nach synchronisieren, es quasi nicht 100 % real ist.
1. Mir fehlen bei dt. Synchro von Komödien oft die hälfte der Witze. Übersetzt funktionieren viele Witze einfach nicht, sei es weil Worte zu lang für die Synchro sind oder es klingt einfach blöd, reimt sich nicht oder man such zwangsweise nach anderen Worten, die sich reimen usw.
2. ist bei Synchro die Tonhöhe manchmal nicht die vom OT-Sprecher, tw. kommt die Stimmung anders rüber (tiefere Stimme bei Frauen oder Raucher, näselnde Stimme z.B.). Manchmal hört man in echter Synchro, dass die Sprecher eine Pause hatten, es klingt plötzlich etwas abgehakt, in anderer Tonlage usw.
Dennoch ist das für mich persönlich am Authentischsten, verglichen mit "KI" Ton oder/und Bild.

Ja ich finde auch, dass (zumindest bei lebenden Schauspielern) diese nicht künstlich nachgeahmt werden sollten, weder in Bild, noch im Ton.
Da geht der ganze Charakter flöten. Ich wüsste nicht, ob mir ein künstlicher Ben Kingsley, Sean Connery oder andere herausragende vielseitige Schauspieler (die manchmal auch einen gewissen Tick haben oder einfach so sind wie sie sind) bspw. gefallen würde. Wahrscheinlich nicht. Ich will das Original, max. in menschlicher Synchro.

Disney und Co. wollen ja sparen, Hollywood ist in einer Krise seit Monaten, vielleicht Jahren. Es ist, als wäre das goldene Zeitalter zuende, wenn man es denn so nennen mag (und nicht 1927-1960 ca. damit ausdrückt).
Naja Zeiten kommen und gehen.
Ich denke, man sollte Authentizität bewahren.
Man kann ja zusätzlich Machine Learning für Bild oder/und Ton einsetzen, doch sollte es nicht überhand nehmen.
Mir ist aber auch generell beim neueren Hollywood vieles too much, zu viele Effekte, Klischees, diverse erzwungene Korrigierungen, Zensur, Neusprech.
Für mich ist Hollywood seit Jahren schon zu "künstlich", lange bevor es "KI" gab.
Dagegen haben Filme/Serien aus z.B. Schweden/Norwegen einen anderen Charakter.

Wobei ich einen möglichen Sinn sehe ist, wenn man Filme mit Schauspielern macht, die nicht mehr existieren oder nur einen kurzen Rückblick zeigen. Was in echt ja sonst gar nicht möglich wäre, wenn man nicht exakt so existierenden content verwendet. Wobei das auch irgendwie gruselig ist, eine Frage der Ethik.
Ich denke, viele Schauspieler wollen das auch nicht, posthum anderen content per "KI" generiert zu haben, was möglicherweise auch was am image ändert. Legenden leben auch irgendwie davon, dass es keinen neuen content mehr gibt und Nostalgie aufkommt, man eben alte Filme guckt.
Die alten Filme sind interessanterweise in brillianter Qualität verfügbar, wenn man die analogen Filmrollen hochauflöstend einscannt. Im Gegenteil dazu können digitale Inhalte nicht später verbessert werden, weswegen frühe digitale Filme aufgrund der schlechteren Auflösung eine schlechtere Qualität als analoge Filmrollen haben. Irgendwie paradox, nicht wahr? Naja ab echtem 4k ist das anders. Wobei wir mit bspw. 5k digitalem Echtfilm + 2k CGI (aus Kosten- und Zeitgründen) auch oft quasi "betrogen" wurden, wenn eine BD als echt 4k verkauft wird. Oder wenn aus 576p DVD 1:1 1080p BD gemacht werden. Aber das ist ein anderes Thema.

Das ist das Ding. Vieles ist heute so künstlich, selbst wenn echt produziert, wirkt es so und man hat sich daran gewöhnt, dass man den Unterschied manchmal nicht erkennt. Es gab einfach zu viel Stoff über die Jahre.
Man denke nur an den Mist im TV, online Magazinen usw. Überall wird nur noch kopiert. Das ist im Prinzip die Weiterführung von Propaganda, Ablenkung zu bestimmten Zwecken. Was ist noch echt und real?
Werbung schaue ich aus Prinzip nicht mehr. Früher in den 90er-2000ern ja, aber es wurde immer mehr, nervte nur noch. Dann bleiben Sat.1, Pro7 usw. eben dunkel. Den content bekommt man ja anderweitig ohne Werbung.
Auf Webseiten ähnlich. Früher hatte man 2 unauffällige Banner, heute sind es 300+ Cookies, ewige Ladezeiten.

 

 
Veröffentlicht : 30. Juni 2024 00:29
Beiträge: 0
 

Veröffentlicht von: Haddekuche

Veröffentlicht von: Chris
CGI ist sehr teuer , wenn sie gut aussehen soll , so wie zB in "Avatar: TWOW". Die KI ist eine niederschwellige Alternative

Ich kenne mich nicht mit den technischen Abgrenzungen aus - ist das so? Im Beispiel von toysRUs besteht der interessante Teil ja auch nur aus sehr wenigen Sekunden, der Rest ist unscharf oder zeigt Undetailiertes. So ganz unaufwendig scheint es mir daher nicht zu sein

Das Ganze geht natürlich irgendwann noch einen Schritt weiter, wenn wir einem Androiden gegenüberstehen werden. Dass wir diesen menschlicher Gesellschaft bevorzugen könnten, kann ich mir schon vorstellen, da man alle seine Mängel wegprogrammieren könnte. Doch im Gegensatz zur KI-Stimme oder dem KI-Schauspieler wäre er physisch vorhanden und damit real.

 

Ich denke, diese Toys'r'us Werbung wird viel manuellen Eingriff in Variablen und Parameter des "KI"-Modells benötigt haben. Der Aufwand ist jedenfalls nicht ohne. Aus einem Mix an Durchschnitt aus einer Datenbank käme ohne geziehlte Anweisungen oft nur Mist. Das muss eine Zeit durch Menschen trainiert und ausgebessert werden. Dennoch kann es u.U. Zeit und Geld sparen, keine Frage. Man bedenke auch, dass die Programmierer in bspw. Indien einen ganz anderen Lohn bekommen als bei uns. Wenn Zeit weniger eine Rolle spielt, bekommt das auch jeder irgendwann hin. Dagegen muss ein Spezialist für 3ds Max, Rhino, Maya, Boris FX (auch ehemals Imagineersystems Monet, Mokey, Motor, Moccha), After Effects usw. ja wirklich viele Abläufe kennen, bis eine Szene gerendert oder/und bearbeitet wirklich gut aussieht.

Frag mal die Japaner oder tw. auch schon bei uns, die Roboter als Unterhalter für Senioren verwenden.
Die meisten würden echte Menchen vorziehen.
Ja natürlich können Roboter weniger nerven usw., aber denen fehlt die Seele, Anpassbarkeit, Schönheit und es ist eben eine andere Art als ein Mensch.
Eine Maschine ist eben doch was anderes als ein Mensch wie ein realer Nachbar, Freund oder auch nur Pfleger, mal besser, mal schlechter. Die Varianz ist was Robotern, die stur nach Algorithmen arbeiten, fehlt.
Als Unterstützung keine Frage, aber als Ersatz, niemals, finde ich furchtbar.

Ja natürlich, interessant und faszinierend wäre es schon. Wer würde nicht C3PO und R2D2 als witzige Helfer mit ihrer ganz eigenen Art haben wollen? Wobei die Sprecher derer damals Menschen waren, das darf man nicht vergessen. Ich würde diese dann auch so wie im Film haben wollen, nicht mit einer KI oder optional einstellbar. Zusätzlich, nicht als Ersatz für Menschen.

 

 
Veröffentlicht : 30. Juni 2024 00:47
Beiträge: 77
Trusted Member
 

Nachtrag zu den technischen und Kosten-Unterschieden zwischen CGI/VFX und KI-generierten Videos.

Bei CGI/VFX fallen Dollar-Beträge im unteren fünfstelligen Bereich pro Sekunde an.
Der Aufwand ist immens: "Grobe" 3D-Objekte (aus fertigen Bibliotheken , erstellt mittels Fotogrammetrie oder 3D-CAD-Tools) werden naturalistisch modelliert/animiert (mit Tools wie Blender oder Maya) , dann zB mit der "Unreal Engine" in Szene gesetzt (Ablaufsteuerung , Beleuchtung) und mit den Aufnahmen von realen Schauspielern/Kulissen/Requisiten verschmolzen bis hin zu CGI-Kostümen. Bei jedem Workflow Step sind Spezialisten am Werk , zB für Haare oder Wasser. Weil die Basis für die 3D-Geometrie Polygone sind und die Berechnungen nicht in Echtzeit erfolgen (wie bei einem Video Game) , spielt die spätere Videoauflösung keine Rolle.

Die CGI/VFX-Studios werden i.d.R. nicht am Gewinn beteiligt , sondern so bezahlt wie zB der Caterer am Set - Ausnahmen: George Lucas und Francis Ford Coppola
Auch Keanu Reeves hat nachträglich von seinen Tantiemen für Matrix einen Bonus in Höhe von $75Mio an die CGI/VFX-Artists verteilt , nachdem er gehört hatte , mit welchen Kleckerbeträgen sie abgespeist worden waren.
Allgemein bekannt ist der Eklat bei den Oscars 2013 , als "Life of Pi" u.a. den für die visuellen Effekte gewann , nachdem eines der dafür ausgezeichneten Studio zuvor Insolvenz anmelden und Mitarbeiter entlassen musste , die noch nicht einmal bezahlt worden waren. Auf offener Bühne wurden die Preisträger absichtlich übertönt , als sie darauf aufmerksam machen wollten.
Hier gibt es ein interessantes Video dazu:
https://youtu.be/eALwDyS7rB0

Insofern könnte man die KI irgendwie auch als Rache einiger Nerds (allerdings auf Kosten u.a. auch anderer Nerds) an den Gierigen von Hollywood betrachten. Man geht aktuell davon aus , dass OpenAI's SORA ab 30$ monatlich im Abo kosten wird. Wie es genau funktioniert , erklären inzwischen zahlreiche Artikel und Videos.

 
Veröffentlicht : 30. Juni 2024 09:17
Beiträge: 4
New Member
 

@user. Ich stimme mit Dir sehr überein. Danke für den Beitrag!

Die Stimme einer Schauspielerin oder eines Schauspielers ist genauso Teil ihrer/seiner Performance, wie das Bildmaterial! Das sind Nuancen in der Intonation, welche Aussage & Inhalt des Films (mit)bestimmen. Im O-Ton ist dies zumindest das, was auch der Regisseur so geplant hat.

Gute Schauspieler arbeiten mit ihrer Stimme genauso, wie mit Mimik. Um bei Tom Hardy zu bleiben, hat er für den Film "Bronson" sogar extra den echten Bronson im Gefängnis besucht, um sich dessen Dialekt & Stimme raufzuschaffen. (Was Du, lieber "Chris", mit "nuscheln" meinst, weiß ich nicht? Ich verstehe sowohl Tom Hardy, als auch Johnny Depp & Marlon Brando ohne Einschränkung. Vielleicht bist Du etwas schwerhörig? 🤔)

Je besser ein Schauspieler oder eine Schauspielerin also ist, desto besser muss auch die Synchronstimme sein, um das noch, nicht nur korrekt nachzusprechen, sondern auch die Feinheiten der Handlung zu erfassen & weiterzugeben.

Bei Filmen, die im Original in einem Dialekt kommen, ist eine Synchronisierung eh quasi unmöglich bzw. tatsächlich NULL möglich! (Man nehme nur den herrlichen Film "Boyz in the Wood" aka "Get Duked", wo die durch die schottischen Highlands stapfen. Der ist sogar gar nicht mal so schlecht synchronisiert, aber ohne das "Schottisch" geht unweigerlich was verloren!)

Die Frage also: wie soll denn eine KI-Stimme das schaffen? Sobald es um inhaltliche Feinheiten geht, müsste ja die KI nicht nur die Stimme "erfassen", sondern auch noch inhaltlich den Film "verstehen", was automatisch bedeutet, dass sie eigentlich eine perfekte Adaption des originalen Menschen sein müsste.

Dass dies irgendwann möglich ist, kann ja sein. Filme wie, bereits 1999, "Bicentennial Man" & jüngst "The Creator" beschäftigen sich ja damit. Wahrscheinlich ist es auch eher möglich, Animationsfilme mit KI-Stimme überzeugend auszustatten, als Filme mit realen Menschen, weil dort das Bildmaterial eh schon "künstlich" ist.

Ja, interessantes Thema! Bis auf Weiteres, freundliche Grüße!

 
Veröffentlicht : 1. Juli 2024 12:06
Seite 2 / 3

Hinterlasse eine Antwort

Autor

Autoren E-Mail

Titel *

Vorschau 0 Revisionen Gespeichert