Microsoft ha anunciado el lanzamiento de una nueva red neuronal llamada VASA, capaz de dar vida a fotografías y personajes virtuales. Usando solo una imagen estática y una pista de audio de voz, VASA crea videos de caras parlantes que muestran una amplia gama de emociones, movimientos naturales de la cabeza y expresiones faciales. A través de una extensa experimentación y evaluación de una serie de nuevas métricas, Microsoft intentó superar las tecnologías generativas anteriores.
VASA no sólo proporciona vídeo de alta calidad, sino que también admite la generación en línea con una resolución de 512x512 y hasta 40 fps con baja latencia inicial. Esto podría allanar el camino para interacciones con rostros virtuales que imiten la comunicación humana en el futuro.
Realismo: el modelo es capaz de sincronizar los movimientos de los labios con el audio y capturar una amplia gama de emociones, matices faciales expresivos y movimientos naturales de la cabeza.
Generación controlable: el modelo de difusión es capaz de tener en cuenta parámetros como la dirección de la mirada, la posición de la cabeza y los cambios en las emociones.
Generalización fuera de distribución: el método es capaz de procesar fotografías y audio que se extienden más allá del conjunto de datos de entrenamiento, incluidos dibujos e ilustraciones. VASA también es capaz de utilizar pistas de audio para cantar y habla en idiomas distintos del inglés.
Generación en tiempo real: el método genera cuadros de video de 512x512 a 45 fps sin conexión y puede admitir hasta 40 fps en línea con una latencia tan baja como 170 ms en una PC con una sola tarjeta gráfica NVIDIA RTX 4090.
Microsoft reconoce los riesgos y señala que la tecnología sólo debe usarse para el bien. Sin embargo, existe la amenaza de que VASA se convierta en una herramienta indispensable en manos de los estafadores. Por lo tanto, en este momento, Microsoft no tiene planes de lanzar una demostración, API o producto en línea, ni proporcionar detalles de implementación adicionales, hasta que esté definitivamente seguro de que la IA se utilizará de manera responsable y de acuerdo con pautas claras.
Dado el potencial de la tecnología y los posibles peligros asociados con VASA, el desarrollo de dicha IA en el futuro probablemente será más lento de lo posible.
¿Cree que deberían existir reglas estrictas para el uso de dichas tecnologías?
bbabo.Net