Kyutai apresenta autoencoders cadre para reduzir a latência do modelo do mundo abaixo de 230 ms

A Kyutai apresentou o CADRE, uma família de autoencoders de vídeo, projetados para melhorar a capacidade de resposta dos modelos do mundo interativos, reduzindo o atraso nas ações. O sistema alcança uma latência inferior a 230 ms, com uma taxa de quadros de 20 fps em uma única GPU H100. A arquitetura do CADRE, que inclui um decodificador de transformador causal de difusão e um codificador convolucional 3D, é otimizada para desempenho em tempo real. Os autoencoders são treinados em 76.000 horas de dados de vídeo públicos, abrangendo filmagens da web, robôs, direção e jogos. Os modelos da Kyutai superam soluções existentes como Wan 2.2, LTX-2 e Cosmos em vários benchmarks, embora enfrentem desafios na manipulação de robôs e navegação em ambientes internos. O código é licenciado sob a licença MIT, enquanto os pesos estão disponíveis no Hugging Face sob a licença CC BY-NC 4.0. Uma demonstração ao vivo permite que os usuários interajam com os modelos através do teclado.