Semana Produtiva: Múltiplos Modelos de Código Aberto Apresentados

Os modelos open-weight ganham relevância crescente no panorama de inteligência artificial, permitindo verificação independente de tecnologias e oferecendo alternativas aos utilizadores preocupados com privacidade. A semana trouxe múltiplos lançamentos de modelos de código aberto com arquiteturas inovadoras. A Nanbeige 4.2 3B implementa um mecanismo de depth sharing looped que reutiliza a mesma pilha de 22 camadas transformers duas vezes, atingindo o equivalente de 44 camadas sem duplicar pesos. Esta abordagem mantém cerca de 75% da eficiência de tokens de uma arquitetura padrão. Laguna S 2.1, desenvolvida pela Poolside, é um modelo sparse MoE de 118B com 8B parâmetros activos e suporta janelas de contexto de 1 milhão de tokens, destacando-se como alternativa viável para aplicações exigentes. Motif-3-Beta apresenta uma variante de 314B de parâmetros com 13B activos, inspirada em trabalhos anteriores mas com um novo mecanismo de Grouped Differential Latent Attention. Solar Open 2, da Upstage, combina 250B de parâmetros com 15B activos num design híbrido que intercala camadas especializadas. Cisco lançou Antares 1B, um modelo pequeno especializado em cibersegurança de terminal, enquanto BTL-3 é um adapter LoRA para Qwen 27B demonstrando a utilidade contínua de técnicas de adaptação em modelos de baixa classificação.