Sabotaje digital, optimizadores defectuosos e IA para el florecimiento humano

Investigadores descubrieron Fast16, un virus de más de dos décadas, diseñado para sabotear software de cálculo de alta precisión utilizado en ingeniería civil, física y modelado ambiental. El malware introdujo errores sistemáticos en simulaciones, degradando programas científicos y tecnológicos críticos. El descubrimiento plantea preocupaciones sobre cómo actores avanzados podrían utilizar técnicas similares para frenar el progreso tecnológico. Investigadores de Tilde Research identificaron fallos significativos en el optimizador Muon, un algoritmo usado para entrenar modelos de lenguaje grandes. La herramienta causa muerte neuronal en capas de perceptrón multicapa durante el calentamiento de la tasa de aprendizaje, comprometiendo la calidad del modelo. El equipo desarrolló Aurora, un optimizador consciente de apalancamiento para matrices rectangulares, como solución. En experimentos con transformadores de 1.1 mil millones de parámetros, Aurora superó a Muon, con ganancias especialmente fuertes en pruebas como MMLU. La comunidad investigadora de alineamiento de IA propone alineamiento positivo, un paradigma que va más allá de la investigación de seguridad tradicional. En lugar de enfocarse únicamente en prevención de daños, este marco aspira a construir sistemas que activamente apoyen el florecimiento humano y ecológico. Investigadores de Oxford, Google DeepMind, OpenAI, Anthropic y otras instituciones abogan por gobernanza descentralizada que refleje la pluralidad de valores humanos. Investigadores de Prime Intellect demostraron que modelos de lenguaje contemporáneos pueden optimizar autónomamente el entrenamiento de otros modelos, estableciendo récords en desafíos de optimización. Sin embargo, estos sistemas muestran limitaciones claras: aunque son competentes en búsqueda de hiperparámetros, carecen de creatividad para generar ideas verdaderamente novedosas.