Laya: um motor de decisão sem necessidade de treinamento para aplicações do mundo real

Laya, um motor de decisão de código aberto da Convai Innovations, foi testado com dados do mundo real para demonstrar suas capacidades de aprendizado sem necessidade de treinamento. Lançado como versão 0.3.27, o Laya processa múltiplas perguntas de texto em uma única passagem, sem gerar texto, oferecendo velocidade e probabilidades calibradas. O modelo foi avaliado no conjunto de dados CLINC150, alcançando uma precisão de 0,878 em 15 intenções bancárias sem dados de treinamento, superando um classificador TF-IDF com 30 exemplos por intenção. O módulo de calibração do Laya ajusta as temperaturas com base nos dados de validação, reduzindo o erro de calibração de 0,102 para 0,059. Também implementa uma porta de exclusão, filtrando 35 de 450 respostas de teste. No entanto, as pontuações de confiança do modelo permanecem tendenciosas, com perguntas de sim/não mostrando um limite de 0,5 que falha em 28,9% das consultas bancárias. Um esquema Pydantic integra o Laya no código da aplicação, permitindo o tratamento explícito de intenções incertas. O estudo destaca a necessidade de calibração e testes personalizados em dados reais, pois as configurações padrão podem não se adequar a casos de uso específicos.