TPU de Google: confidencialidad y memoria, no solo velocidad, para agentes de larga duración
La TPU 8tx añade cómputo confidencial de hardware para clientes regulados, la TPU 8i Max duplica el ancho de banda de memoria y TPU Sync trata el estado del modelo como infraestructura.
Escuche este artículo · 5 min
Narración completa del artículo, generada con IA.
Los anuncios de chips suelen empezar por la velocidad. El anuncio de Google del 9 de noviembre empieza por otras dos cosas: quién puede ver los datos mientras se procesan y dónde guarda el modelo su memoria. Las dos son consecuencia de cómo se usa hoy la IA en las empresas, con datos sensibles y con agentes que funcionan durante horas.
Google ha presentado ahora cuatro sistemas TPU en un año por primera vez. TPU 8tx y TPU 8i Max son los nuevos.
| Diseñada para | Por qué le importaría a una empresa | |
|---|---|---|
| TPU 8t | Entrenamiento a gran escala | Sobre todo una preocupación para quienes construyen modelos |
| TPU 8i | Inferencia | Coste de servir modelos y agentes |
| TPU 8tx | Entrenamiento y ajuste con cómputo confidencial por hardware | Los datos sensibles y los pesos del modelo siguen protegidos mientras se usan |
| TPU 8i Max | Inferencia con contextos largos | El doble de ancho de banda de memoria para agentes con mucho estado |
TPU 8tx: el cómputo confidencial llega al acelerador
TPU 8tx usa el mismo silicio que TPU 8t, con hosts de CPU AMD personalizados y cómputo confidencial a nivel de hardware, que protege los datos y los pesos del modelo mientras se usan, no solo en reposo o en tránsito. Google la posiciona para empresas reguladas y administraciones públicas, y para entrenamiento a pequeña escala, fine-tuning, destilación y aprendizaje por refuerzo sobre datos sensibles sin moverlos entre clústeres. Google también afirma hasta 2 veces menos latencia que TPU 8t.
Esta es la parte que más importa a bancos, aseguradoras, sistemas de salud y organismos públicos. La objeción habitual a ajustar un modelo con registros confidenciales en una nube pública ha sido que los datos quedan expuestos en memoria durante el procesamiento. El cómputo confidencial en el acelerador responde a esa objeción en el plano técnico. No resuelve las cuestiones legales y contractuales, pero cambia la conversación con los equipos de riesgo y compliance de “imposible” a “enséñennos la atestación”. Es una respuesta directa a la cuestión que llamamos custodia, la primera pregunta de la arquitectura de IA empresarial.
TPU 8i Max y el problema de la memoria
TPU 8i Max mete dos chips TPU 8i en un solo paquete, duplica el cómputo, la memoria en chip y el ancho de banda de memoria, y encaja el doble de silicio en el mismo espacio de rack. Google dice que apunta al cuello de botella de ancho de banda de memoria de las ventanas de contexto grandes.
El mismo tema recorre el software. Agent Compute Engine suspende las sesiones de agente inactivas y mueve su memoria de trabajo fuera del chip en milisegundos. TPU Sync, ahora open source, mueve la caché KV, la memoria de trabajo del modelo para una conversación, entre memoria del chip, memoria del host, SSD locales y almacenamiento compartido como una sola jerarquía. En las pruebas de laboratorio de Google con su generación anterior, recortó la latencia de transferencia de la caché KV en más de un 90%, llevando la transferencia mediana de un modelo de 235.000 millones de parámetros a unos 230 milisegundos, y se conecta con los motores de servicio open source vLLM, SGLang y llm-d.
Para las empresas, la cuestión es económica. Un agente que mantiene un contexto de 500.000 tokens durante una tarde, casi todo el tiempo esperando a herramientas y personas, ocupa memoria cara todo el rato a menos que su estado se pueda aparcar y restaurar. Señalamos la misma palanca cuando llm-d llevó el coste de la inferencia por debajo del modelo.
El resto, en breve
Cloud Pathways, el runtime distribuido que DeepMind construyó para entrenar y servir Gemini, ya está en disponibilidad general (GA) en GKE, y Google dice que procesó más de 130 millones de horas de chip TPU en los últimos 90 días. GKE dynamic slicing está en disponibilidad general, con la afirmación de un arranque de trabajos hasta cinco veces más rápido y una recuperación tras fallos hasta 4,5 veces más rápida. Una suite de agentes para TPU open source, en preview, funciona con Claude Code, Cursor y Google Antigravity.
Qué preguntar a su equipo de nube
La mayoría de las empresas no comprará TPUs directamente; se encontrará estos chips a través de servicios gestionados. Siguen aplicando tres preguntas. ¿Puede nuestro fine-tuning o nuestra destilación ejecutarse bajo cómputo confidencial, y qué atestación obtendremos? ¿Cómo cobra el proveedor las sesiones de agente inactivas, y su memoria está aparcada o retenida? ¿Y cuáles de nuestras cargas de agentes están limitadas por la memoria y no por el cómputo? Las respuestas pesarán más en la factura que las mejoras de velocidad del titular.