Deze next level deepfakes gaan de filmindustrie voorgoed veranderen

De plaag die dubbing heet

Als je in Duitsland op vakantie bent en je de televisie aanzet, dan kom je het fenomeen al snel tegen: dubbing. James Bond spreekt opeens Duits. In plaats van films van ondertiteling te voorzien, worden de stemmen simpelweg opnieuw ingesproken in het Duits.

Dat valt direct op. Niet eens omdat je drommels goed weet hoe Daniel Craig klinkt, maar ook door de lippen van de acteurs. Die komen immers niet meer overeen met wat je hoort, en je bent als mens getraind om dat meteen door te hebben. De Duitsers en Fransen zijn er wel gewend aan, maar afleidend is het zeker. Dat moet toch beter kunnen?

Matchende lippen dankzij deepfakes

Als het aan een startup genaamd Flawless ligt wel. Wij hebben het afgelopen jaar vooral genoten van de hilarische toepassingen van deepfakes. Van Tom Cruise die opeens de rol van Iron Man vertolkt tot Harrison Ford die het stokje van Daniel Craig overneemt in de James Bond-films.

Flawless pakt het serieuzer aan. Zij gebruiken deepfake-technologie om de lippen van acteurs in films aan te passen. Zodat je stemmen opnieuw kunt inspreken in een andere taal, en de lippen geheel natuurlijk op de nieuwe audio aansluiten. Geen mismatch meer dus.

Dat met de hand doen zou onbetaalbaar monnikenwerk zijn. Gelukkig is machine learning anno 2021 geavanceerd genoeg om het proces grotendeels te automatiseren. Dat doet de startup met TrueSync, gloednieuwe sotware die het gezicht van acteurs manipuleert. Van de bewegingen van lippen tot de subtielste spiertjes in hun gezicht. Opeens is het alsof Mr. Bean origineel gewoon Frans sprak.

Barack Obama is Marvel’s nieuwe Black Panther dankzij deepfakes

Bijna. Bijna.

Althans, dat is wat ze beloven. Gelukkig blijft het niet bij beloftes, want met de onderstaande video’s demonstreren ze hun software. Met de naam Flawless leggen ze de lat wel meteen erg hoog, maar de resultaten zijn zeker indrukwekkend. Vooral Tom Hanks die foutloos Japans spreekt in Forrest Gump is een achtbaanrit.

Maar toch. Maar toch. Je hebt honderden beweginkjes in je gezicht als je praat, details die je niet eens bewust doorhebt maar waar je onderbewustzijn meteen op aanslaat als het niet klopt. En dat merk je ook in de onderstaande video’s. Het feit dat ze er voor 98 procent zijn is al bijzonder indrukwekkend, maar om het voor de filmkijker beter dan het alternatief te maken zal het voor 99.9 procent moeten kloppen.

Onvermijdelijke toekomst van Hollywood

Voor nu blijft het dus nog even toekomstmuziek. Maar als je alleen al terugblikt op de afgelopen jaren en de enorme stappen die al gezet zijn in deepfakes, dan kun je niet anders dan concluderen dat dergelijke software Hollywood gaat veroveren. Of het nou Flawless is of een andere startup: over een paar jaar vliegen de jonge Luke Skywalkers en andere middels deepfakes gemanipuleerde filmscènes je waarschijnlijk om de oren.

Wij houden het voorlopig nog even bij hilarische voorbeelden zoals Elon Musk die opeens in Star Trek speelt…