La plataforma huawei ascend permite el despliegue de kimi K3.1 pro, un modelo de moe avanzado

Huawei ha anunciado que su plataforma Ascend ahora admite el despliegue de Kimi K3.1 Pro, un modelo que cuenta con 2,8 billones de parámetros y capacidades avanzadas de Mixture-of-Experts (MoE). Este soporte se ha logrado mediante la integración de Ascend con vLLM y SGLang para habilitar la adaptación de inferencia de 0 Día, compatible con los productos Ascend Atlas 800 A3, Atlas 900 A3 SuperPod y la serie Ascend 950 SuperPod. Kimi K3.1 Pro, el primer modelo de la serie K3.1, cuenta con una comprensión visual nativa y una ventana de contexto de un millón de tokens. Las capacidades mejoradas del modelo en áreas como el desarrollo de código, la creación 3D, la investigación financiera y las tareas de agentes a largo plazo se derivan de una escala posterior al entrenamiento ampliada con respecto al modelo base K3. Para apoyar los requisitos del modelo, como la atención dispersa y el manejo de contextos masivos, Ascend ha realizado optimizaciones colaborativas en sus operadores y marcos. El equipo de inferencia ha aprovechado la experiencia previa de adaptación de Kimi K3 para integrar las nuevas rutas de atención dispersa y el soporte de inferencia multimodal, que abarca optimizaciones clave como el filtrado de información histórica y el cálculo residual.