Стартап із Тель-Авіва Deepdub пропонує технологію автоматизації частини процесу дублювання за допомогою технології штучного інтелекту. Вона дозволяє скоротити час, необхідний для дубляжу, дозволяючи власникам контенту та студіям отримувати готовий продукт озвучки протягом тижнів, а не місяців. На тлі зростання попиту на дубляж стартап уже залучив $20 млн. інвестицій.
Deepdub підтримали інвестори Booster Ventures та Stardom Ventures, а також кілька бізнес-янгелів, зокрема Еміліано Калемзук, колишній президент Fox Television Studios; Кевін Рейлі, колишній комерційний директор HBO Max; Денні Грандер, співзасновник Snyk; Рой Тайгер, віце-президент з інженерних розробок у Meta.
Мета Deepdub полягає у тому, щоб подолати мовний бар'єр у сфері розваг, використовуючи передові технології штучного інтелекту із комплексною платформою для творців контенту. Стартап підтримує всі аспекти проекту дублювання, включаючи переклад, адаптацію та зведення.
Deepdub використовує технології штучного інтелекту та машинного навчання.
У той час як традиційний процес дублювання може зайняти від 15 до 20 тижнів для двогодинного фільму, стартап може завершити той же проект лише за чотири тижні. Для цього Deepdub спочатку бере дві-три хвилини вихідних голосових даних акторів і використовує їх для створення моделі, яка перекладає характеристики голосів на цільову мову. Стартап не розкриває подробиць своєї технології.
Нещодавно Deepdub уклав партнерську угоду з потоковим сервісом Topic.com, щоб дублювати їхній каталог іноземних телешоу англійською мовою. Deepdub також став першим стартапом, який дублював повнометражний фільм іспанською мовою з використанням голосів, синтезованих ІІ.
Тепер Deepdub працює над проектами як з невеликими, так і великими голлівудськими студіями.
Проте ведеться багато суперечок про те, чи мають глядачі дивитися фільми та шоу мовою оригіналу із субтитрами чи задовольнятися дубльованою версією. Наприклад, у випадку із серіалом «Гра в кальмара» від Netflix виникли розбіжності з приводу того, що в дубльованій версії не змогли точно передати зміст діалогів корейською. Навіть творець «Squid Game» рекомендував глядачам дивитися версію із субтитрами.
Одна з проблем полягає в тому, що дубльовані версії намагаються співвіднести промову та рух губ акторів, щоб не применшувати враження від перегляду. Через це іноді страждає зміст, тому що слова та фрази доводиться обрізати, щоб дубльована мова відповідала руху рота актора.
Тим часом компанії кіноіндустрії вже вдаються до дипфейків. Наприклад, Industrial Light & Magic, "дочка" студії Lucafilm, взяла на роботу команду авторів YouTube-каналу Shamook, які за допомогою дифейків оновлюють цифрові версії акторів найпопулярніших фільмів. Shamook «виправили» омолоджене обличчя Люка у виконанні Марка Хемілла у фільмі «Мандалорець», завдяки чому враження вийшло природнішим. Також студія за допомогою дипфейків скоригувала персонажів принцеси Леї та Вілхуффа Таркіна у фільмі «Ізгой-один» і наклала обличчя Себастіана Стена на молодого Люка Скайуокера.
А у фільмі Roadrunner: A Film About Anthony Bourdain про американського шеф-кухаря Ентоні Бурдена кілька фраз голосом покійного вимовляє нейромережа. Такий прийом викликав користувачів неоднозначну реакцію.
bbabo.Net