Zhiyuan presenta WITA-Omni, afirmando que es el primer modelo LLM multimodal y de extremo a extremo con capacidades corporales

Zhiyuan AGIBOT ha anunciado el lanzamiento de WITA-Omni, un modelo grande descrito como el primer modelo interactivo, multimodal y de extremo a extremo con capacidades corporales del sector. Este sistema está entrenado en profundidad con datos de percepción del cuerpo robótico, y soporta no solo la entrada y salida de audio y vídeo, sino también las entradas táctiles y del estado del cuerpo, junto con las acciones y expresiones faciales del robot, proporcionando así al robot un cerebro interactivo para el mundo físico. WITA-Omni utiliza una arquitectura de flujo continuo de dos vías, que permite escuchar, pensar, responder, moverse y expresar emociones simultáneamente, logrando tiempos de respuesta de aproximadamente 400 milisegundos, casi tres veces más rápido que el promedio de la industria. Además, su mecanismo de rechazo multimodal permite una conversación natural y sin palabras clave, al evaluar el contexto, el audio, los movimientos labiales y la postura para minimizar los falsos disparos. El modelo cuenta con una expresión emocional humana avanzada, capaz de mostrar docenas de emociones sutiles con diferentes intensidades. Además de la comunicación, WITA-Omni puede generar visualizaciones en una pantalla facial para explicar temas complejos. También cuenta con capacidades de interacción proactiva, como saludar a VIPs o despedirse cuando se le solicita a través de la detección del entorno. Anteriormente, en julio de este año, el modelo de vista previa de WITA-Omni encabezó el gráfico de comprensión multimodal DailyOmni con una puntuación de 85,21, superando a modelos líderes como Qianwen, Gemini y Doubao.