Laya: un motor de decisión sin ejemplos para aplicaciones del mundo real

Laya, un motor de decisión de código abierto de Convai Innovations, ha sido probado con datos del mundo real para demostrar sus capacidades en el aprendizaje sin ejemplos. Lanzado como versión 0.3.27, Laya procesa múltiples preguntas tipificadas en una única pasada sin generar texto, ofreciendo velocidad y probabilidades calibradas. El modelo se evaluó en el conjunto de datos CLINC150, logrando una precisión del 0,878 en 15 intenciones bancarias sin datos de entrenamiento, superando a un clasificador TF-IDF con 30 ejemplos por intención. El módulo de calibración de Laya ajusta las temperaturas en función de los datos de validación, reduciendo el error de calibración de 0,102 a 0,059. También implementa una puerta de abstención, filtrando 35 de 450 respuestas de prueba. Sin embargo, las puntuaciones de confianza del modelo siguen siendo sesgadas, mostrando un umbral de 0,5 para preguntas de sí/no que omiten el 28,9% de las consultas bancarias. Un esquema de Pydantic integra Laya en el código de la aplicación, permitiendo un manejo explícito de intenciones inciertas. El estudio destaca la necesidad de una calibración y pruebas personalizadas con datos reales, ya que la configuración predeterminada puede no estar alineada con casos de uso específicos.