Microsoft heeft de lancering aangekondigd van een nieuw neuraal netwerk genaamd VASA, dat foto's en virtuele karakters tot leven kan brengen. Met slechts één statisch beeld en een gesproken audiotrack maakt VASA video's van pratende gezichten die een breed scala aan emoties, natuurlijke hoofdbewegingen en gezichtsuitdrukkingen weergeven. Door middel van uitgebreide experimenten en evaluaties van een aantal nieuwe statistieken probeerde Microsoft beter te presteren dan eerdere generatieve technologieën.

VASA biedt niet alleen video van hoge kwaliteit, maar ondersteunt ook online generatie met een resolutie van 512x512 tot 40 fps met een lage initiële latentie. Dit zou de weg kunnen vrijmaken voor interacties met virtuele gezichten die menselijke communicatie in de toekomst nabootsen.

Realisme: Het model is in staat lipbewegingen te synchroniseren met audio en een breed scala aan emoties, expressieve gezichtsnuances en natuurlijke hoofdbewegingen vast te leggen.

Controleerbare generatie: Het diffusiemodel kan rekening houden met parameters zoals blikrichting, hoofdpositie en veranderingen in emoties.

Generalisatie buiten distributie: De methode is in staat foto's en audio te verwerken die verder gaan dan de trainingsdataset, inclusief tekeningen en illustraties. VASA kan ook zingende audiotracks en niet-Engelse spraak gebruiken.

Real-time generatie: De methode genereert 512 x 512 videoframes bij 45 fps offline en kan tot 40 fps online ondersteunen met een latentie van slechts 170 ms op een pc met een enkele NVIDIA RTX 4090 grafische kaart.

Microsoft onderkent de risico's en merkt op dat de technologie alleen voor het goede mag worden gebruikt. Er bestaat echter een dreiging dat VASA een onmisbaar instrument kan worden in de handen van fraudeurs. Daarom heeft Microsoft op dit moment geen plannen om een ​​online demo, API of product uit te brengen, of aanvullende implementatiedetails te verstrekken, totdat het er definitief zeker van is dat AI op verantwoorde wijze en volgens duidelijke richtlijnen zal worden gebruikt.

Gezien het potentieel van de technologie en de mogelijke gevaren die aan VASA verbonden zijn, zal de ontwikkeling van dergelijke AI in de toekomst waarschijnlijk langzamer verlopen dan mogelijk is.

Vindt u dat er strikte regels moeten zijn voor het gebruik van dergelijke technologieën?

bbabo.Net