Reka presenta rho-1: un modelo unificado para texto, vídeo y acciones robóticas

Reka ha presentado Rho-1, un modelo omnisciente de 19 mil millones de parámetros capaz de comprender, generar y ejecutar tareas en texto, imágenes, vídeo y acciones robóticas. A diferencia de los sistemas multimodales tradicionales que se basan en múltiples modelos especializados, Rho-1 funciona como una única red neuronal, eliminando la necesidad de transferencias entre diferentes modelos. El modelo puede generar un faro, meterlo en una caja, animarlo y explicar los cambios en solo cinco pasos sin herramientas externas. Rho-1 utiliza dos formatos nativos para la entrada y la salida, con bloques de transformador que contienen dos flujos de pesos de experto: uno para la comprensión y otro para la generación. El modelo genera vídeo a 0,79x de la velocidad real, con el primer clip apareciendo en unos 7 segundos, superando a una tubería multiagente que tardó 13,8 segundos. Una versión condensada del modelo reduce los pasos de eliminación de ruido de 99 a 8, logrando un clip de 5,3 segundos en menos de un segundo. El modelo también admite la transmisión continua y las actualizaciones en curso, demostrando su versatilidad en tareas de robótica y simulación.