Kimi K3: Gigante de Código Aberto com 2,8 Trilhões de Parâmetros e Foco em Eficiência

A Kimi lançou o Kimi K3, um modelo de linguagem de código aberto com 2,8 trilhões de parâmetros — o maior modelo aberto atualmente disponível. Trata-se de uma evolução significativa do Kimi Linear, lançado no ano anterior com 48 bilhões de parâmetros. A arquitetura incorpora várias inovações orientadas para eficiência de inferência. O modelo substitui componentes convencionais por versões otimizadas: MoE por LatentMoE, atenção tradicional por atenção multi-cabeça latente, e inclui Kimi Delta Attention. Adiciona também atenção residual — uma técnica que melhora o caminho residual conectando resíduos entre camadas através de pesos de importância calculados por atenção. Uma decisão arquitetural notável foi abandonar completamente embeddings posicionais rotativos (RoPE) e adotar NoPE em todas as camadas, sendo esta a primeira arquitetura de fronteira a usar esta abordagem globalmente. O modelo oferece ainda suporte multimodal nativo, expandindo suas capacidades além de texto.