La iniciativa de investigación de OpenAI busca un desarrollo transparente de las tecnologías de IA de alto riesgo

Nathan Lambert y Tom Zick han lanzado Trillium Labs, una organización sin ánimo de lucro centrada en la investigación de IA transparente y de alto riesgo. La iniciativa tiene como objetivo abordar riesgos como la auto-mejora recursiva (RSI) y el aprendizaje por refuerzo, haciendo que los detalles experimentales estén disponibles públicamente para su escrutinio y replicación. Lambert argumenta que el enfoque actual cerrado del desarrollo de IA dificulta la evaluación de riesgos, abogando por un retorno al método científico. Zick enfatiza la importancia de publicar los conocimientos obtenidos de los experimentos de aprendizaje por refuerzo para revelar el comportamiento de la IA. La organización sin ánimo de lucro ha recaudado fondos no revelados de Schmidt Sciences, Halcyon Futures y otras, con planes de recaudar entre 40 y 100 millones de dólares en total. Tim Fist del Institute for Progress apoya una mayor transparencia en la I+D de IA, destacando su potencial para enriquecer el debate más amplio sobre el desarrollo de la IA. Lambert y Zick se conocieron durante la pandemia mientras estudiaban en UC Berkeley y quedaron inspirados para iniciar Trillium Labs después de observar la creciente desconexión entre la investigación académica y las prácticas de la industria. La organización sin ánimo de lucro se centrará inicialmente en el ajuste fino posterior al entrenamiento y la RSI, áreas de preocupación debido a su potencial para el avance no controlado de la IA. Las recientes advertencias de un investigador de Anthropic sobre los riesgos existenciales de la RSI han intensificado el debate sobre el desarrollo de IA abierto versus cerrado. La iniciativa busca aportar una perspectiva más matizada al debate en curso sobre cómo construir sistemas de IA de forma responsable.