Zhiyuan revela o WITA-Omni, afirmando ser o primeiro LLM multimodal e de ponta da indústria

A Zhiyuan AGIBOT anunciou o lançamento do WITA-Omni, um modelo de grande porte descrito como o primeiro modelo multimodal e de ponta da indústria, com capacidades de interação. Este sistema é treinado profundamente com dados de percepção do corpo robótico, suportando não apenas entrada e saída de áudio e vídeo, mas também entradas táteis e de estado corporal, juntamente com ações e expressões faciais do robô, como saídas, efetivamente dando ao robô um cérebro interativo para o mundo físico. WITA-Omni utiliza uma arquitetura de fluxo contínuo de comunicação bidirecional, permitindo a escuta, o pensamento, a resposta, o movimento e a expressão simultâneos, alcançando tempos de resposta de aproximadamente 400 milissegundos, quase três vezes mais rápido do que a média da indústria. Além disso, seu mecanismo de rejeição multimodal permite uma conversa natural e sem palavras-chave, avaliando o contexto, o áudio, os movimentos labiais e a postura para minimizar falsos acionamentos. O modelo possui capacidades avançadas de expressão emocional humana, capaz de exibir dezenas de emoções sutis com diferentes intensidades. Além da comunicação, o WITA-Omni pode gerar visualizações em uma tela facial para explicar tópicos complexos. Também possui capacidades de interação proativa, como cumprimentar VIPs ou acenar em despedida quando solicitado por sensores ambientais. Anteriormente, em julho deste ano, o modelo de visualização do WITA-Omni liderou o gráfico de compreensão multimodal DailyOmni com uma pontuação de 85,21, superando modelos líderes como Qianwen, Gemini e Doubao.