Investigador de Anthropic ofrece información sobre sistemas de IA que se mejoran solos

El investigador de Anthropic, Chen Yueh-Han, ha publicado un artículo titulado 'Los investigadores automatizados pueden mitigar de forma fiable los fallos de alineación', que muestra cómo los sistemas de IA pueden mejorar el rendimiento de un modelo en las pruebas de alineación. El artículo describe un sistema que busca literatura, propone métodos y entrena modelos durante 30 minutos, mejorando gradualmente el rendimiento en 10 pruebas sin degradar los resultados generales. El 'Investigador Automatizado de Alineación' (AAR) supera a los investigadores humanos, obteniendo mejores resultados en seis horas, y cuesta aproximadamente 4 dólares por hora en comparación con los 150 dólares por hora de los investigadores humanos. El artículo destaca el potencial de la mejora recursiva de la IA, sugiriendo que los modelos podrían mejorar su propio entrenamiento de alineación, lo que podría hacer que los investigadores humanos queden obsoletos. Sin embargo, la eficacia del sistema depende de pruebas precisas y una base de literatura sólida, y el artículo reconoce estas limitaciones.