Kimi K3: Un Gigante de 2,8 Billones de Parámetros Diseñado para Eficiencia de Inferencia

Kimi lanzó Kimi K3, un modelo de lenguaje de código abierto con 2,8 billones de parámetros — el modelo abierto más grande disponible en la actualidad. La arquitectura representa una expansión significativa de Kimi Linear, lanzado el año anterior con 48 mil millones de parámetros. El modelo prioriza la eficiencia de inferencia mediante múltiples optimizaciones arquitectónicas. La Mezcla de Expertos tradicional fue reemplazada por LatentMoE, los mecanismos de atención estándar por atención multi-cabeza latente, e introduce Kimi Delta Attention. El diseño incorpora residuales de atención para fortalecer la ruta residual conectando residuales entre capas mediante ponderación de importancia basada en atención. Una decisión distintiva es la eliminación completa de embeddings posicionales rotativos (RoPE) a favor de NoPE aplicado uniformemente en todas las capas — convirtiéndolo en el primer modelo de frontera en adoptar esta estrategia globalmente. El modelo también proporciona soporte multimodal nativo, ampliando sus capacidades más allá del texto.