Google lança o TorchTPU, um backend pytorch nativo para tpus na nuvem

A Google lançou o TorchTPU, um backend PyTorch nativo para TPUs na nuvem, desenvolvido em colaboração com a equipe PyTorch da Meta e anunciado na Conferência PyTorch 2026, em 20 de outubro de 2026. A ferramenta substitui o PyTorch/XLA e é recomendada para todas as novas cargas de trabalho. O TorchTPU permite que os modelos PyTorch sejam executados nativamente em TPUs, com tensores funcionando como tensores PyTorch padrão, sem subclasses ou wrappers. Ele suporta um único processo por dispositivo e preserva as visualizações de tensores e as mutações in-place. O TorchTPU introduz três modos eager, com o modo de velocidade máxima usando `torch.compile(backend="tpu")` para capturar gráficos com TorchDynamo e reduzi-los através do StableHLO para OpenXLA, emitindo código de máquina TPU. Também suporta kernels Pallas personalizados e kernels de tile Tokamax e Helion pré-construídos. O framework de distribuição usa o grupo de processos `tpu_dist`, suportando DDP, FSDP2 e DTensor com uma malha topologicamente consciente para interconexões TPU.