JD.com presenta modelos de IA avanzados para la generación de vídeos interactivos

En la conferencia Global Tech Explorer de JD.com, celebrada el 9 de septiembre, el Instituto de Investigación JoyAI-Explore de JD.com presentó dos nuevas innovaciones en la serie JoyAI-Echo: el modelo de generación de vídeo largo JoyAI-Echo1.5 y el nuevo modelo de mundo audiovisual interactivo EchoWM. JoyAI-Echo1.5 puede generar contenido audiovisual de más de 10 minutos, utilizando la arquitectura de 'Memory Bank' para mantener imágenes, voces y tramas de personajes durante la generación en múltiples cámaras y de larga duración. La velocidad de inferencia del modelo se ha incrementado hasta en un 7,5 veces, lo que permite una generación en tiempo real de 1:1 a una resolución de 480P. EchoWM, por otro lado, integra la generación audiovisual nativa con el control del usuario, lo que permite que el contenido de IA pase de ser 'observable' a 'interactivo y exploratorio'. EchoWM combina las fortalezas de dos enfoques tradicionales, generando vídeos de 720P, sonidos ambientales, música y voz, con sonido sincronizado con los movimientos de la escena, la cámara y el sujeto. Admite la navegación en primera persona, el control colaborativo de la cámara y el sujeto en tercera persona, y la exploración continua en múltiples rondas. En la evaluación de navegación WBench, EchoWM y EchoWM-Flash obtuvieron el primer y segundo lugar, con EchoWM ocupando la primera posición en 158 casos de navegación en múltiples rondas. JD.com también demostró el nuevo modelo de base audiovisual JoyAI-Video, que se dirige al publicidad de comercio electrónico, la creación de cortometrajes y la formación en inteligencia artificial, con una fecha de lanzamiento oficial prevista para octubre.