Hugging face presenta Carbon-X, un modelo de lenguaje de código abierto con 14 mil millones de parámetros

Hugging Face ha lanzado Carbon-X, un modelo de lenguaje de código abierto basado en ADN con 14.8 mil millones de parámetros, marcando la primera integración del ADN y el procesamiento del lenguaje natural. El modelo, desarrollado en colaboración con la Academia de Zhongguancun, TIGEM y la Universidad Federico II de Nápoles, es un modelo de solo decodificación de Hugging Face Bio. Procesa secuencias de ADN brutas y responde en inglés, ofreciendo capacidades como la clasificación de mutaciones, la detección de regiones reguladoras y la predicción de la siguiente base. Los pesos del modelo se liberan bajo la licencia Apache 2.0, lo que permite a los laboratorios retener datos confidenciales en su propio hardware. Carbon-X se basa en Qwen3-14B, utilizando un tokenizador híbrido que combina el vocabulario BPE de Qwen3 con 5.515 tokens específicos del ADN. El entrenamiento implicó cuatro etapas, y los ajustes de la tasa de aprendizaje jugaron un papel crucial para equilibrar el rendimiento del ADN y el inglés. El modelo supera a Qwen3-14B en 27 puntos y se queda ligeramente por detrás de GPT-6.1 Sol en 0.8 puntos, destacando en los efectos de variantes de código y la predicción de la siguiente base. También mantiene sólidas habilidades generales, logrando una precisión estricta del 79,3% en IFEval. Hugging Face estima que el coste de inferencia de Carbon-X es de 5 dólares por hora en un H200, lo que supone una reducción significativa en comparación con los modelos de vanguardia.