Fastino apresenta o GLiNER2.5-Decide: um modelo de decisão de alto desempenho para tarefas operacionais

A Fastino Labs lançou o GLiNER2.5-Decide, um modelo de decisão de código aberto com 340 milhões de parâmetros, projetado para tarefas de tomada de decisão operacionais. O modelo processa texto e um esquema de perguntas tipadas para gerar respostas estruturadas, completas com distribuições de probabilidade, pontuações de confiança e metadados de viabilidade de restrições. É otimizado para implantação em CPUs, GPUs ou em ambientes isolados, com inferência e ajuste fino hospedados através da API GLiNER. O GLiNER2.5-Decide é um classificador não generativo baseado no codificador DeBERTa-v3-large, ajustado a partir do gliner2-large-v1. Ele se destaca em tarefas como roteamento, triagem, seleção de ferramentas e guardrails, com foco em decisões operacionais, em vez de raciocínio ou perguntas abertas. O modelo alcançou um desempenho forte no Fast Decisions, um conjunto de benchmarks interno, superando outros modelos em 9 dos 17 conjuntos de dados, incluindo operações de clientes e roteamento de domínio. A Fastino também lançou o GLiNER2.5-Decide-1B e o GLiNER2.5-multi-Decide para casos de uso multilinguísticos, com o modelo de 340 milhões de parâmetros liderando no roteamento e pontuação de intenção, atingindo 75,3% na intenção de suporte. A eficiência do modelo é destacada por seu desempenho de baixa latência, com latência p50 de 52,6 ms em uma GPU A100 para 1.024 tokens.