DeepSeek presenta el modelo V4.1-Flash con contexto de 1 millón y mayor eficiencia

DeepSeek AI ha lanzado su último modelo, DeepSeek-V4.1-Flash, que cuenta con una ventana de contexto de 1 millón de tokens, caché KV FP4 y reutilización de la atención entre capas. El modelo, con 552B de parámetros de la columna vertebral y 196B de parámetros adicionales de Engram, está diseñado para abordar los desafíos de los agentes de largo alcance al reducir la carga en los recursos de hardware. Logra una huella de caché KV global de 890 bytes por token, significativamente menor que las versiones anteriores. La arquitectura del modelo incluye una columna vertebral de 40 capas dividida en capas de codificador y decodificador causales, donde el decodificador utiliza los estados ocultos del codificador para minimizar los cálculos de prellenado. El equipo también ha introducido CSA2 e indexación dispersa jerárquica para optimizar el uso de la memoria. Los beneficios de la implementación incluyen un menor almacenamiento en SSD y una piscina de DRAM distribuida para SWA KV. El modelo está disponible bajo una licencia MIT en Hugging Face, con niveles de API públicos para diferentes niveles de razonamiento. Las mejoras posteriores al entrenamiento se centran en la síntesis de tareas a gran escala y la destilación a partir de más de 40 profesores, mejorando la eficiencia sin introducir nuevos algoritmos. El modelo coincide con DeepSeek-V4-Pro-Base en conocimiento del mundo y codificación, al tiempo que utiliza menos parámetros. El lanzamiento sigue al anuncio anterior del servicio DeepSeek-V4 Pro, que se retrasó hasta el 14 de septiembre.