Modelos de IA Apresentam Ganhos Significativos em Benchmarks com Datasets Especializados

Foi anunciado o desenvolvimento de modelos especializados em IA após treino em datasets de diversos domínios, com melhorias significativas em múltiplos benchmarks de avaliação. Os ganhos foram conseguidos utilizando apenas uma fração dos dados totais disponíveis, abrindo perspectivas para desempenhos ainda maiores. Os resultados específicos indicam aumentos de 12.0 pontos percentuais em Terminal-Bench 2.0, 9.6pp em Toolathlon e 9.3pp em FrontierScience. De forma inesperada, datasets que não continham código contribuíram também para o desempenho em tarefas de engenharia de software, melhorando 6pp no SWE-Bench Pro. Os modelos encontram-se agora disponíveis comercialmente, tendo sido treinados com apenas um quinto do dataset completo. Espera-se que as versões completas, significativamente maiores, produzam resultados superiores.