Mirendil presenta fern 0.1, un modelo de IA centrado en el código con una ventana de contexto de 10 millones de tokens

Mirendil, un laboratorio de I+D de IA, ha lanzado Fern 0.1, su primer modelo de IA, diseñado para la investigación y el desarrollo de IA, en lugar de para conversaciones generales. Fern es un modelo de codificación con una ventana de contexto de hasta 10 millones de tokens, lo que equivale a aproximadamente 23 MB de código o unas 500.000 líneas. Esto lo coloca en paralelo con Megatron-LM en términos de escala. El modelo se construyó a partir de Mirendil-Base después de una breve fase de post-entrenamiento. Los datos de entrenamiento provenían exclusivamente de fuentes públicas, incluyendo GitHub, páginas web y conjuntos de datos públicos, sin utilizar técnicas de destilación, datos sintéticos o datos licenciados. El código se desarrolló desde cero utilizando PyTorch y JAX. Mirendil afirma que los agentes de IA escribieron más del 99% del código, con un único investigador supervisando el proceso. El modelo superó a varios competidores en pruebas de referencia, incluyendo Inkling y Nemotron 3 Ultra, aunque quedó rezagado en algunas tareas específicas en comparación con los modelos de vanguardia.