Bbabo NET

Навука & Тэхналогіі Навіны

Стартап дыпфейкаў галасоў акцёраў агучання Deepdub сабраў $20 млн інвестыцый

Стартап з Тэль-Авіва Deepdub прапануе тэхналогію аўтаматызацыі часткі працэсу дубліравання з дапамогай тэхналогіі штучнага інтэлекту. Яна дазваляе скараціць час, неабходны для дубляжу, дазваляючы уладальнікам кантэнту і студыям атрымліваць гатовы прадукт агучкі на працягу тыдняў, а не месяцаў. На фоне росту попыту на дубляж стартап ужо прыцягнуў $20 млн інвестыцый.

Deepdub падтрымалі інвестары Booster Ventures і Stardom Ventures, а таксама некалькі бізнес-анёлаў, у тым ліку Эміліяна Калемзук, былы прэзідэнт Fox Television Studios; Кевін Рэйлі, былы камерцыйны дырэктар HBO Max; Дэні Грандер, сузаснавальнік Snyk; Рой Тайгер, віцэ-прэзідэнт па інжынерных распрацоўках у Meta.

Мэта Deepdub складаецца ў тым, каб пераадолець моўны бар'ер у сферы забаў, выкарыстоўваючы перадавыя тэхналогіі штучнага інтэлекту з комплекснай платформай для стваральнікаў кантэнту. Стартап падтрымлівае ўсе аспекты праекта дублявання, у тым ліку пераклад, адаптацыю і звядзенне.

Deepdub выкарыстоўвае тэхналогіі штучнага інтэлекту і машыннага навучання.

У той час як традыцыйны працэс дубліравання можа заняць ад 15 да 20 тыдняў для двухгадзіннага фільма, стартап можа завяршыць той жа праект усяго за чатыры тыдні. Для гэтага Deepdub спачатку бярэ дзве-тры хвіліны зыходных галасавых даных акцёраў і выкарыстоўвае іх для стварэння мадэлі, якая перакладае характарыстыкі галасоў на мэтавую мову. Стартап не раскрывае падрабязнасці працы сваёй тэхналогіі.

Нядаўна Deepdub заключыў партнёрскую дамову з струменевым сэрвісам Topic.com, каб дубляваць іх каталог замежных тэлешоў на ангельскую мову. Deepdub таксама стаў першым стартапам, які дубляваў поўнаметражны фільм на іспанскую мову з выкарыстаннем галасоў, сінтэзаваных ІІ.

Цяпер Deepdub працуе над праектамі як з невялікімі, так і з буйнымі галівудскімі студыямі.

Аднак вядзецца шмат спрэчак аб тым, ці павінны гледачы глядзець фільмы і шоу на мове арыгінала з субтытрамі або здавольвацца дубляванай версіяй. Напрыклад, у выпадку з серыялам «Гульня ў кальмара» ад Netflix узніклі рознагалоссі наконт таго, што ў дубляванай версіі не змаглі дакладна перадаць змест дыялогаў на карэйскім. Нават стваральнік "Squid Game" рэкамендаваў гледачам глядзець версію з субтытрамі.

Адна з праблем складаецца ў тым, што дубляваныя версіі спрабуюць суаднесці гаворка і рух вуснаў акцёраў, каб не прымяншаць уражанні ад прагляду. З-за гэтага часам пакутуе змест, бо словы і фразы даводзіцца абразаць, каб дубляваная гаворка адпавядала руху рота акцёра.

Тым часам кампаніі кінаіндустрыі ўжо звяртаюцца да дыпфейкаў. Напрыклад, Industrial Light & Magic, "дачка" студыі Lucafilm, узяла на працу каманду аўтараў YouTube-канала Shamook, якія пры дапамозе дыфейкаў абнаўляюць лічбавыя версіі акцёраў папулярных фільмаў. Shamook «выправілі» амалоджаны твар Люка ў выкананні Марка Хэміла ў фільме «Мандалорэц», дзякуючы чаму ўражанне атрымалася больш натуральным. Таксама студыя пры дапамозе дыпфейкаў скарэктавала персанажаў прынцэсы Леі і Ўілхуфа Таркіна ў фільме «Ізгой-адзін» і наклала твар Себасціяна Стэна на маладога Люка Скайуокера.

А ў фільме Roadrunner: A Film About Anthony Bourdain пра амерыканскага шэф-кухары Энтані Бурдэна некалькі фраз голасам нябожчыка прамаўляе нейрасетку. Такі прыём выклікаў у карыстальнікаў неадназначную рэакцыю.

Стартап дыпфейкаў галасоў акцёраў агучання Deepdub сабраў $20 млн інвестыцый