Mirendil lança fern 0.1, um modelo de IA focado em código com janela de contexto de 10 milhões de tokens

A Mirendil, um laboratório de P&D em IA, lançou o Fern 0.1, seu primeiro modelo de IA, projetado para pesquisa e desenvolvimento de IA, e não para conversas gerais. O Fern é um modelo de codificação com uma janela de contexto de até 10 milhões de tokens, o que equivale a cerca de 23 MB de código ou aproximadamente meio milhão de linhas. Isso o coloca em par com o Megatron-LM em termos de escala. O modelo foi construído a partir do Mirendil-Base após uma fase de treinamento curta. Os dados de treinamento vieram exclusivamente de fontes públicas, incluindo GitHub, páginas da web e conjuntos de dados públicos, sem usar destilação, dados sintéticos ou dados licenciados. O código foi desenvolvido do zero usando PyTorch e JAX. O Fern é o menor dos três modelos planejados, juntamente com o Mirendil-Base-Large e o Mirend, que estão em estágios avançados de pré-treinamento. A Mirendil afirma que agentes de IA escreveram mais de 99% do código, com um único pesquisador supervisionando o processo. O modelo superou vários concorrentes em testes de referência, incluindo Inkling e Nemotron 3 Ultra, embora tenha ficado atrás de alguns modelos de ponta em tarefas específicas.