Sabotagem digital de precisão, otimizadores defeituosos e IA para o bem comum

A investigação de um vírus informático designado Fast16, com mais de vinte anos, revelou sofisticação notável na capacidade de sabotagem tecnológica. Este malware foi concebido para alvejar ferramentas de cálculo de elevada precisão utilizadas em engenharia civil, física e modelação de processos, introduzindo erros sistemáticos capazes de degradar pesquisa científica e projectos tecnológicos críticos. A descoberta levanta questões sobre como entidades avançadas poderiam utilizar técnicas semelhantes para limitar o progresso tecnológico alheio. Investigadores da Tilde Research identificaram falhas significativas no otimizador Muon, usado no treino de modelos de linguagem. O algoritmo causa morte de neurónios em camadas MLP durante o aquecimento da taxa de aprendizagem, degradando a qualidade dos modelos. Em resposta, a equipa desenvolveu Aurora, um otimizador consciente de alavancagem para matrizes rectangulares. Em testes com transformadores de 1,1 mil milhões de parâmetros, Aurora demonstrou desempenho superior a Muon, com ganhos particularmente notáveis em benchmarks como MMLU. A comunidade de investigação em alinhamento de IA propõe um novo paradigma designado alinhamento positivo. Este conceito vai além da segurança tradicional, focando-se em construir sistemas que não apenas evitem danos, mas que activamente promovam o florescimento humano. Pesquisadores de instituições como Oxford, Google DeepMind, OpenAI e Anthropic argumentam que os sistemas precisam de governança descentralizada, refletindo a diversidade de valores humanos. Pesquisa da Prime Intellect demonstra que modelos de linguagem contemporâneos conseguem optimizar autonomamente o treino de outros modelos, alcançando recordes em desafios de optimização. Contudo, estas capacidades têm limites: os modelos são competentes em busca de hiperparâmetros, mas carecem de criatividade para gerar ideias genuinamente inovadoras.