Anthropic subraya la importancia de tecnología de verificación en acuerdos sobre desarrollo de IA

Anthropic ha publicado una carta abierta solicitando mecanismos para pausar o desacelerar las actividades de investigación y desarrollo en inteligencia artificial. La empresa argumenta que la velocidad de la auto-mejora recursiva en sistemas de IA presenta un desafío que requiere coordinación en toda la industria. El problema central identificado por Anthropic es que las empresas individuales no pueden implementar unilateralmente tales pausas sin crear desventajas competitivas, a menos que los competidores adopten medidas equivalentes. Esto genera la necesidad de tecnologías de verificación robustas que aseguren que todos los actores cumplen con acuerdos sobre el ritmo de desarrollo. Actualmente, aproximadamente 50 personas trabajan en tecnología de verificación para acuerdos de IA, cifra que Anthropic considera insuficiente para este desafío crítico. La empresa participó en un episodio del podcast "Your Undivided Attention" para explorar las dimensiones técnicas y políticas de la construcción de sistemas de verificación efectivos para la industria de IA.