DeepSeek revela o modelo V4.1-Flash com contexto de 1m e eficiência aprimorada

A DeepSeek AI lançou o seu mais recente modelo, DeepSeek-V4.1-Flash, que apresenta uma janela de contexto de 1M de tokens, cache FP4 KV e reutilização de atenção em camadas. O modelo, com 552B de parâmetros de base e 196B de parâmetros adicionais de Engram, foi concebido para abordar os desafios de agentes de longo alcance, reduzindo a carga nos recursos de hardware. Alcança uma pegada de cache KV global de 890 bytes por token, significativamente menor do que as versões anteriores. A arquitetura do modelo inclui uma base de 40 camadas dividida em camadas de codificador e decodificador causais, com o decodificador a utilizar os estados ocultos do codificador para minimizar os cálculos de preenchimento. A equipa também introduziu CSA2 e indexação hierárquica esparsa para otimizar o uso da memória. Os benefícios de implementação incluem armazenamento SSD reduzido e um pool DRAM distribuído para SWA KV. O modelo está disponível sob uma licença MIT no Hugging Face, com níveis de API públicos para diferentes níveis de raciocínio. As melhorias pós-treino concentram-se na síntese de tarefas em grande escala e na destilação a partir de mais de 40 professores, melhorando a eficiência sem introduzir novos algoritmos. O modelo corresponde ao DeepSeek-V4-Pro-Base em conhecimento do mundo e codificação, utilizando menos parâmetros. O lançamento segue o anúncio anterior do serviço DeepSeek-V4 Pro, que foi adiado para 14 de setembro.