Ant Group abre código de modelo Ling-3.0-tiny otimizado para inferência local

A Ant Baili, divisão de IA da Ant Group, lançou a versão aberta do modelo Ling-3.0-tiny, um modelo de arquitetura MoE (Mixture of Experts) leve com 7,9 bilhões de parâmetros totais, ativando 1,3 bilhão por token. O modelo foi projetado especificamente para inferência com baixo custo e foi testado em plataformas como NVIDIA DGX Spark e computadores Apple Silicon, alcançando velocidades de inferência de aproximadamente 86-90 tokens por segundo em um MacBook Pro M4. O modelo está disponível em múltiplos formatos de peso (BF16, FP8 e INT4) para atender a diferentes requisitos de implantação.