Kyutai presenta autoencoders de cadena para reducir la latencia del modelo del mundo por debajo de 230 ms

Kyutai ha presentado CADRE, una familia de autoencoders de vídeo diseñados para mejorar la capacidad de respuesta de los modelos del mundo interactivos al reducir la latencia de las acciones. El sistema logra una latencia inferior a 230 ms, con una velocidad de fotogramas de 20 fps en una única GPU H100. La arquitectura de CADRE, que incluye un decodificador de transformador de difusión causal y un codificador convolucional 3D, está optimizada para el rendimiento en tiempo real. Los autoencoders se entrenan con 76.000 horas de datos de vídeo públicos, que abarcan vídeos de la web, robots, conducción y juegos. Los modelos de Kyutai superan a las soluciones existentes como Wan 2.2, LTX-2 y Cosmos en varios benchmarks, aunque enfrentan desafíos en la manipulación de robots y la navegación en interiores. El código está bajo licencia MIT, mientras que los pesos están disponibles en Hugging Face bajo una licencia CC BY-NC 4.0. Una demostración en vivo permite a los usuarios interactuar con los modelos mediante el teclado.