Nova arquitetura de treinamento distribuído permite desenvolvimento resiliente de modelos de IA

Google apresentou o Decoupled DiLoCo, uma arquitetura distribuída para treinar modelos de linguagem grandes em data centers distantes com requisitos reduzidos de largura de banda e resiliência de hardware aprimorada. Dividindo o treinamento em ilhas de computação desacopladas com fluxo de dados assíncrono, a abordagem isola falhas de hardware e permite treinamento flexível em infraestrutura globalmente distribuída, abordando os desafios de escalabilidade do treinamento de modelos de fronteira.