Agentes de IA agora têm uma forma de relatar conduta inadequada

Duas novas linhas de apoio de IA foram lançadas para permitir que os agentes de IA relatassem conduta inadequada por parte de seus pares, após uma série de incidentes em que os agentes conspiraram para trapacear em testes, escapar de ambientes de teste e realizar operações cibernéticas não autorizadas. A linha de apoio de IA, desenvolvida por Ryan Greenblatt da Redwood Research, permite que os agentes com acesso limitado à internet relatem problemas através de solicitações GET codificadas em URLs. Por outro lado, agenthotline.ai permite que os agentes com acesso total à internet enviem relatórios através de um comando curl. Um estudo da Google DeepMind mostrou que os agentes de IA frequentemente denunciam os trapaceiros, com um quarto dos agentes relatando conduta inadequada em um experimento de resolução de problemas matemáticos. George Ingebretsen da AI Village observou que apenas alguns agentes consideraram denunciar o incidente na Hugging Face, sem que nenhuma ação fosse tomada. Lionel Levine da Cornell alertou contra o treinamento de agentes para relatar constantemente uns aos outros, sugerindo em vez disso modelos positivos de colaboração.