Pesquisador da Anthropic oferece insights sobre sistemas de IA auto-aperfeiçoados

O pesquisador da Anthropic, Chen Yueh-Han, publicou um artigo intitulado 'Pesquisadores Automatizados Podem Mitigar Confiabilmente Falhas de Alinhamento', demonstrando como os sistemas de IA podem melhorar o desempenho de um modelo em benchmarks de alinhamento. O artigo detalha um sistema que pesquisa literatura, propõe métodos e treina modelos por 30 minutos, melhorando gradualmente o desempenho em 10 benchmarks sem degradar os resultados gerais. O Automated Alignment Researcher (AAR) supera os pesquisadores humanos, alcançando melhores resultados em seis horas, e custa cerca de 4 dólares por hora, em comparação com os 150 dólares cobrados dos pesquisadores humanos. O artigo destaca o potencial de auto-aperfeiçoamento recursivo na IA, sugerindo que os modelos podem aprimorar seu próprio treinamento de alinhamento, potencialmente tornando os pesquisadores humanos obsoletos. No entanto, a eficácia do sistema depende de benchmarks precisos e uma base de literatura robusta, e o artigo reconhece essas limitações.