JD.com apresenta modelos de IA avançados para geração de vídeos interativos

Na conferência Global Tech Explorer da JD.com, em 9 de setembro, o JD Explore Research Institute apresentou duas novas novidades na série JoyAI-Echo: o modelo de geração de vídeo longo atualizado, JoyAI-Echo1.5, e o novo modelo de mundo audiovisual interativo, EchoWM. O JoyAI-Echo1.5 pode gerar conteúdo audiovisual com duração superior a 10 minutos, utilizando a arquitetura de 'Memory Bank' para manter imagens, vozes e linhas da história dos personagens durante a geração em várias câmeras e de longa duração. A velocidade de inferência do modelo foi aumentada em até 7,5 vezes, permitindo a geração em tempo real de 1:1 em resolução de 480P. O EchoWM, por outro lado, integra a geração audiovisual nativa com controle do usuário, permitindo que o conteúdo de IA passe de 'assistível' para 'interativo e exploratório'. O EchoWM combina as vantagens de duas abordagens tradicionais, gerando vídeos em 720P, sons ambientes, música e voz, com sincronização de som a movimentos de cena, câmera e sujeito. Suporta navegação em primeira pessoa, controle colaborativo de câmera e sujeito em terceira pessoa e exploração contínua em várias rodadas. Na avaliação WBench Navigation, o EchoWM e o EchoWM-Flash ficaram em primeiro e segundo lugar, com o EchoWM obtendo a primeira posição em 158 casos de navegação contínua. A JD.com também demonstrou o novo modelo de base de áudio-vídeo, JoyAI-Video, que visa publicidade de e-commerce, criação de dramas curtos e treinamento de inteligência corporificada, com lançamento oficial previsto para outubro.