Google presenta TPU sync: herramienta de código abierto para el almacenamiento en caché kv y la transferencia de pesos eficientes en tpus

Google ha lanzado TPU Sync, una biblioteca de C++ de código abierto diseñada para gestionar el movimiento de los pesos del modelo y los cachés KV a través de diferentes niveles de memoria dentro de los TPUs en la nube. Esta biblioteca trata el HBM de TPU, la DRAM del host, el almacenamiento compartido y la red del centro de datos como una jerarquía de memoria unificada, abordando el creciente cuello de botella del movimiento del estado del modelo en lugar del cálculo. Las pruebas internas realizadas por Google en julio de 2026 en TPU v7x (2x2x1) mostraron que TPU Sync lograba una latencia de transferencia KV más de un 90% inferior al gestionar modelos MoE que van de 235B a 480B parámetros. TPU Sync facilita dos funciones principales: la gestión del estado de la caché KV durante la inferencia y la transmisión de pesos de los entrenadores a los muestreadores en el aprendizaje por refuerzo. La arquitectura implica un almacén KV global, un controlador de transferencia y un gestor de caché KV, donde los nodos de prellen descargan bloques a la RAM del host asignada a través de DMA asíncrono antes de que se transmitan a los nodos de decodificación de HBM. La biblioteca está licenciada bajo Apache-2.0 e integra con PyTorch a través de TorchTPU y de forma nativa con JAX. Las integraciones ya están establecidas con vLLM-TorchTPU como el conector KV de TPU y SGLang-TorchTPU como el backend de transferencia P/D. Además, llm-d 1.0 en GKE lo utiliza para el enrutamiento de afinidad de caché-prefijo y para la descarga experimental a Google Cloud Managed Lustre. Meta y Wayfair están evaluando la arquitectura, mientras que Inferact y RadixArk han co-diseñado las integraciones de vLLM y SGLang.