OpenBMB apresenta o minicpm5-2b: um modelo com 2,52 bilhões de parâmetros otimizado para implantação local

A OpenBMB lançou o MiniCPM5-2B, um modelo de linguagem denso causal com 2,52 bilhões de parâmetros, projetado para implantação local. O modelo possui 2.516.756.480 parâmetros, com 1.981.982.720 fora das embeddings, e utiliza 42 camadas com atenção agrupada. Suporta uma janela de contexto nativa de 131.072 tokens e é compatível com vários frameworks, incluindo vLLM, SGLang e llama.cpp. O MiniCPM5-2B supera vários concorrentes em benchmarks específicos, alcançando uma pontuação média de 53,9 em 34 testes. Destaca-se no uso de ferramentas e tarefas de codificação, com resultados notáveis em LiveCodeBench e SWE-bench. A formação envolveu o gerenciamento de dados em camadas da UltraData, fases estáveis e de decaimento, e o algoritmo JustRL II. O desempenho do modelo em tarefas de raciocínio e benchmarks gerais é medido em 10,96 pontos médios, com checkpoints e conjuntos de dados adicionais disponibilizados para transparência. A OpenBMB enfatiza sua adequação para cargas de trabalho de agentes e chamadas de ferramentas, embora fique atrás de modelos maiores em tarefas de conhecimento geral.