Supersonic labs lanza julia 1: un modelo de decisión compacto y basado en CPU con 144,3 millones de parámetros
Supersonic Labs, un laboratorio de investigación de IA brasileño, ha presentado Julia 1, un modelo de toma de decisiones con 144,3 millones de parámetros que funciona en CPUs estándar. A diferencia de los chatbots, Julia 1 procesa el contexto, una pregunta y múltiples opciones de respuesta, devolviendo probabilidades para cada opción. El modelo es de código abierto y está disponible en Hugging Face bajo la licencia Apache 2.0, y admite su implementación en entornos de Python 3.11+ o GPUs compatibles con BF16. Una versión ONNX funciona en navegadores a través de WebGPU, y una API alojada está en desarrollo.
Julia 1 se basa en el codificador mmBERT-small, entrenado en más de 1.800 idiomas, con una cabeza de toma de decisiones añadida por Supersonic Labs. Maneja tres tipos de decisiones a través de una única API, proporcionando probabilidades de softmax en el orden de las opciones de entrada. Las pruebas muestran que alcanza un 72,55% de precisión en Decisiones Tipificadas y un 60/100 en Banking77, con algunas abstenciones. El rendimiento varía según los dispositivos, con el Apple M4 logrando un tiempo de respuesta medio de 33,15 ms.
El modelo no es una versión afinada de Qwen y está diseñado para tareas de clasificación, aunque no puede manejar datos faltantes o cálculos complejos. Supersonic Labs aconseja a los usuarios validar los resultados con supervisión humana para decisiones críticas. El laboratorio también ha anunciado planes para Julia 2, que contará con su propia arquitectura de base.