Hugging face apresenta o Carbon-X, um modelo de linguagem de código aberto com 14 bilhões de parâmetros

A Hugging Face lançou o Carbon-X, um modelo de linguagem de código aberto baseado em DNA com 14,8 bilhões de parâmetros, marcando a primeira integração de DNA e processamento de linguagem natural. O modelo, desenvolvido em colaboração com a Academia de Zhongguancun, TIGEM e a Universidade Federico II de Nápoles, é um modelo de decodificação exclusivo da Hugging Face Bio. Ele processa sequências de DNA brancas e responde em inglês, oferecendo capacidades como classificação de mutações, detecção de regiões regulatórias e previsão da próxima base. Os pesos do modelo são disponibilizados sob a licença Apache 2.0, permitindo que os laboratórios mantenham dados sensíveis em seu próprio hardware. O Carbon-X é construído com base no Qwen3-14B, utilizando um tokenizador híbrido que combina o vocabulário BPE do Qwen3 com 5.515 tokens específicos de DNA. O treinamento envolveu quatro etapas, com ajustes da taxa de aprendizado desempenhando um papel crucial no equilíbrio do desempenho em DNA e inglês. O modelo supera o Qwen3-14B em 27 pontos e fica atrás do GPT-6.1 Sol em 0,8 pontos, destacando-se em efeitos de variantes de código e previsão da próxima base. Também mantém fortes habilidades gerais, alcançando uma precisão estrita de 79,3% no IFEval. A Hugging Face estima o custo de inferência do Carbon-X em US$ 5 por hora em um H200, o que é significativamente menor do que os modelos de ponta.