De in Tel Aviv gevestigde startup Deepdub biedt technologie om een deel van het duplicatieproces te automatiseren met behulp van kunstmatige-intelligentietechnologie. Het vermindert de tijd die nodig is voor het dubben, waardoor eigenaren van inhoud en studio's een afgewerkt voice-over-product in weken in plaats van maanden kunnen ontvangen. Te midden van een groeiende vraag naar nasynchronisatie heeft de startup al $ 20 miljoen aan investeringen opgehaald.
Deepdub werd gesteund door investeerders Booster Ventures en Stardom Ventures, evenals verschillende investeerders, waaronder Emiliano Kalemzuk, voormalig president van Fox Television Studios; Kevin Reilly, voormalig commercieel directeur van HBO Max; Danny Grander, mede-oprichter van Snyk; Roy Tiger, Vice-President Engineering bij Meta.
Het doel van Deepdub is om de taalbarrière in entertainment te doorbreken door gebruik te maken van geavanceerde AI-technologie met een uitgebreid platform voor makers van inhoud. De startup ondersteunt alle aspecten van het duplicatieproject, inclusief vertaling, aanpassing en mixen.
Deepdub maakt gebruik van kunstmatige intelligentie en machine learning-technologieën.
Terwijl een traditioneel nasynchronisatieproces 15 tot 20 weken kan duren voor een film van twee uur, kan een startup hetzelfde project in slechts vier weken voltooien. Om dit te doen, neemt Deepdub eerst twee tot drie minuten van de onbewerkte stemgegevens van de acteurs en gebruikt het om een model te maken dat de kenmerken van de stemmen vertaalt naar de doeltaal. De startup maakt geen details bekend over hoe de technologie werkt.
Deepdub is onlangs een samenwerking aangegaan met streamingdienst Topic.com om hun catalogus met buitenlandse tv-programma's in het Engels te kopiëren. Deepdub werd ook de eerste startup die een speelfilm in het Spaans dubde met behulp van AI-gesynthetiseerde stemmen.
Inmiddels werkt Deepdub aan projecten met zowel kleine als grote Hollywood-studio's.
Er is echter veel discussie over de vraag of kijkers films en shows in hun oorspronkelijke taal met ondertiteling moeten bekijken, of genoegen moeten nemen met de nagesynchroniseerde versie. In het geval van Netflix' The Squid Game was er bijvoorbeeld controverse over het feit dat de nagesynchroniseerde versie de inhoud van de Koreaanse dialoog niet nauwkeurig weergaf. Zelfs de maker van "Squid Game" moedigde kijkers aan om de ondertitelde versie te bekijken.
Een probleem is dat de nagesynchroniseerde versies proberen de spraak en lipbewegingen van de acteurs aan te passen om de kijkervaring niet te verminderen. De inhoud lijdt hier soms onder, omdat woorden en zinnen moeten worden geknipt om te passen bij de stem van de mond van de acteur.
Ondertussen nemen filmindustriebedrijven al hun toevlucht tot deepfakes. Industrial Light & Magic, een dochteronderneming van Lucafilm, heeft bijvoorbeeld een team van makers ingehuurd van het YouTube-kanaal Shamook, die defakes gebruiken om digitale versies van acteurs in populaire films bij te werken. Shamook repareerde het verjongde gezicht van Mark Hamills Luke in The Mandalorian om het er natuurlijker uit te laten zien. De studio heeft ook de karakters van prinses Leia en Wilhuff Tarkin in Rogue One deepfake gegeven en het gezicht van Sebastian Stan op een jonge Luke Skywalker geplaatst.
En in de film Roadrunner: A Film About Anthony Bourdain, over de Amerikaanse chef Anthony Bourdain, spreekt een neuraal netwerk verschillende zinnen uit in de stem van de overledene. Deze techniek veroorzaakte gemengde reacties van gebruikers.
bbabo.Net