Microsoft hat die Einführung eines neuen neuronalen Netzwerks namens VASA angekündigt, das Fotos und virtuelle Charaktere zum Leben erwecken kann. Mit nur einem statischen Bild und einer Sprach-Audiospur erstellt VASA Videos von sprechenden Gesichtern, die ein breites Spektrum an Emotionen, natürlichen Kopfbewegungen und Gesichtsausdrücken zeigen. Durch umfangreiche Experimente und Auswertungen einer Reihe neuer Metriken versuchte Microsoft, frühere generative Technologien zu übertreffen.

VASA bietet nicht nur qualitativ hochwertige Videos, sondern unterstützt auch die Online-Generierung mit einer Auflösung von 512 x 512 bis zu 40 fps und geringer Anfangslatenz. Dies könnte in Zukunft den Weg für Interaktionen mit virtuellen Gesichtern ebnen, die die menschliche Kommunikation nachahmen.

Realismus: Das Modell ist in der Lage, Lippenbewegungen mit Audio zu synchronisieren und ein breites Spektrum an Emotionen, ausdrucksstarken Gesichtsnuancen und natürlichen Kopfbewegungen einzufangen.

Kontrollierbare Generierung: Das Diffusionsmodell ist in der Lage, Parameter wie Blickrichtung, Kopfposition und Veränderungen der Emotionen zu berücksichtigen.

Verallgemeinerung außerhalb der Verteilung: Die Methode ist in der Lage, Fotos und Audiodaten zu verarbeiten, die über den Trainingsdatensatz hinausgehen, einschließlich Zeichnungen und Illustrationen. VASA ist auch in der Lage, singende Audiospuren und nicht-englische Sprache zu verwenden.

Echtzeitgenerierung: Die Methode generiert offline 512 x 512 Videobilder mit 45 Bildern pro Sekunde und kann online bis zu 40 Bilder pro Sekunde mit einer Latenz von nur 170 ms auf einem PC mit einer einzelnen NVIDIA RTX 4090-Grafikkarte unterstützen.

Microsoft ist sich der Risiken bewusst und weist darauf hin, dass die Technologie nur zum Guten eingesetzt werden sollte. Allerdings besteht die Gefahr, dass VASA in den Händen von Betrügern zu einem unverzichtbaren Werkzeug werden könnte. Daher hat Microsoft zum jetzigen Zeitpunkt keine Pläne, eine Online-Demo, API oder ein Produkt zu veröffentlichen oder zusätzliche Implementierungsdetails bereitzustellen, bis Microsoft endgültig davon überzeugt ist, dass KI verantwortungsvoll und nach klaren Richtlinien eingesetzt wird.

Angesichts des Potenzials der Technologie und der möglichen Gefahren, die mit VASA verbunden sind, wird die Entwicklung einer solchen KI in Zukunft wahrscheinlich langsamer als möglich verlaufen.

Glauben Sie, dass es strenge Regeln für den Einsatz solcher Technologien geben sollte?

bbabo.Net