Google presentó este 9 de noviembre de 2026 TPU Sync, una biblioteca de código abierto escrita en C++ para trasladar el estado de los modelos dentro de clústeres de TPU. Según su anuncio oficial, busca que los aceleradores pasen menos tiempo esperando datos, tanto al generar respuestas como en procesos de aprendizaje por refuerzo.

🧠 El problema no es solamente cuánto puede calcular un chip: también importa qué tan rápido recibe el contexto y los parámetros que necesita. TPU Sync coordina la memoria de alto ancho de banda del acelerador —HBM—, la DRAM del servidor, el almacenamiento compartido y la red del centro de datos como una misma jerarquía; mueve tensores en su formato nativo de TPU mediante transferencias DMA asíncronas, mientras el cómputo continúa.

⚙️ Para inferencia, separa el cómputo de las esperas de red y organiza una caché KV por niveles con DRAM, SSD locales y Google Cloud Managed Lustre; el paso hacia almacenamiento secundario compartido sigue siendo experimental. Esto apunta a agentes y chats con sesiones de 256 mil a más de un millón de tokens, consultas que comparten instrucciones o documentos y arquitecturas que separan el procesamiento inicial del prompt —prefill— de la generación de tokens —decode—.

📊 Google reporta más de 90% menos latencia al transferir caché KV y una reducción promedio de 90% en el tiempo hasta el primer token, frente a ejecutar sin TPU Sync. Esos resultados corresponden a modelos MoE de pesos abiertos de entre 235 mil y 480 mil millones de parámetros, en cargas con reutilización de prefijos y servicio desagregado; para el traslado de contexto entre prefill y decode también reporta más de 90% menos sobrecarga de transferencia.

🛠️ La biblioteca se integra con PyTorch mediante TorchTPU y con JAX, y funciona como conector de caché KV para vLLM, SGLang y llm-d. Para aprendizaje por refuerzo ofrece primitivas DMA y de red que pueden usar frameworks de mayor nivel, incluidos flujos con Pathways y JAX multicontrolador —McJAX—: ese módulo es experimental, fue validado en cargas internas y permite redistribuir automáticamente los pesos entre distintas configuraciones de paralelismo del entrenador y los procesos que generan muestras.

¿Qué cambia para quienes sirven modelos en TPU?

La apuesta es reutilizar contexto ya procesado y mover pesos sin frenar innecesariamente al acelerador. En vez de recalcular prefijos o mantener toda la caché dentro de la HBM, TPU Sync extiende el espacio disponible hacia la memoria de los servidores y conecta los nodos que procesan prompts con los que generan respuestas.

  • Transferencia directa sin cambiar el formato: accede a buffers PJRT de JAX o tensores de PyTorch y mueve segmentos entre HBM y memoria del servidor fijada y registrada con DmaMap. Conserva la distribución física de TPU, sin serialización de Python, conversión de formato ni buffers intermedios en espacio de usuario; los datos quedan listos para la unidad de multiplicación de matrices, MXU.
  • Movimiento y cálculo simultáneos: utiliza alias PJRT_RawBuffer sin mantener bloqueos de uso de PJRT ni hacer copias dentro del dispositivo. También regula las transferencias DMA para evitar que los movimientos grandes retrasen el lanzamiento de kernels.
  • Sin compilación XLA en la ruta de datos: las transferencias y la redistribución de fragmentos se ejecutan en C++ fuera del grafo XLA, incluso al cambiar entre configuraciones del entrenador y los procesos de muestreo.
  • Ancho de banda reportado: mediante raw_transfer, Google indica hasta 223 GB/s agregados entre dispositivo y servidor por host Ironwood —TPU v7x—, frente al límite de hardware de 256 GB/s de PCIe Gen5. En la red del centro de datos reporta aproximadamente 192 Gbps con una interfaz de 200 Gbps, o unos 350 Gbps con dos interfaces de 200 Gbps y distribución de tráfico que toma en cuenta NUMA.

Las cifras describen las cargas y configuraciones que Google evaluó, no una mejora garantizada para cualquier modelo. Para un equipo que ya trabaja con TPU, el cambio relevante está en cómo administra y transporta el estado del modelo, además de cuánto cómputo tiene disponible.

💬 Si sirves modelos de IA, ¿qué te frena más hoy: recalcular contexto, quedarte sin memoria o mover datos entre servidores?

¿Pero deveras? 🌵💚