Os novos TPUs do Google são feitos para confidencialidade e memória, não só velocidade
TPU 8tx adiciona computação confidencial em hardware para clientes regulados, TPU 8i Max dobra a largura de banda de memória e o TPU Sync trata o estado do modelo como infraestrutura.
Ouça este artigo · 4 min
Narração completa do artigo, gerada por IA.
Anúncios de chips costumam começar pela velocidade. O anúncio do Google em 9 de novembro começa por outras duas coisas: quem consegue ver os dados enquanto eles são processados, e onde um modelo guarda a memória. As duas são consequências de como a IA é usada hoje nas empresas, com dados sensíveis e com agentes que rodam por horas.
O Google introduziu agora quatro sistemas TPU em um ano pela primeira vez. TPU 8tx e TPU 8i Max são os novos.
| Construído para | Por que um cliente enterprise se importaria | |
|---|---|---|
| TPU 8t | Treinamento em larga escala | Questão sobretudo para quem constrói modelos |
| TPU 8i | Inferência | Custo de servir modelos e agentes |
| TPU 8tx | Treinamento e ajuste com computação confidencial em hardware | Dados sensíveis e pesos do modelo ficam protegidos durante o uso |
| TPU 8i Max | Inferência com contextos longos | O dobro da largura de banda de memória para agentes que mantêm muito estado |
TPU 8tx: a computação confidencial chega ao acelerador
TPU 8tx usa o mesmo silício do TPU 8t, com hosts de CPU AMD customizados e computação confidencial em nível de hardware, que protege dados e pesos do modelo enquanto estão em uso, não apenas em repouso ou em trânsito. O Google o posiciona para empresas reguladas e governos, e para treinamento em pequena escala, fine-tuning, destilação e aprendizado por reforço com dados sensíveis sem movê-los entre clusters. O Google também alega até 2x menos latência que o TPU 8t.
Esta é a parte que mais importa para bancos, seguradoras, sistemas de saúde e órgãos públicos. A objeção comum a ajustar um modelo com registros confidenciais em uma nuvem pública tem sido a de que os dados ficam expostos na memória durante o processamento. A computação confidencial no acelerador responde a essa objeção tecnicamente. Ela não resolve as questões legais e contratuais, mas muda a conversa com os times de risco e compliance de “impossível” para “mostre a atestação”. É uma resposta direta à questão que chamamos de custódia, a primeira pergunta da arquitetura de IA enterprise.
TPU 8i Max e o problema de memória
TPU 8i Max coloca dois chips TPU 8i em um único encapsulamento, dobrando o poder de computação, a memória on-chip e a largura de banda de memória, e encaixando o dobro de silício no mesmo espaço de rack. O Google diz que ele mira o gargalo de largura de banda de memória das janelas de contexto grandes.
O mesmo tema atravessa o software. O Agent Compute Engine suspende sessões ociosas de agentes e move a memória de trabalho delas para fora do chip em milissegundos. O TPU Sync, agora open source, move o KV cache, a memória de trabalho do modelo para uma conversa, entre memória do chip, memória do host, SSDs locais e armazenamento compartilhado como uma única hierarquia. Nos testes de laboratório do Google na geração anterior, ele reduziu a latência de transferência do KV cache em mais de 90%, levando a transferência mediana de um modelo de 235 bilhões de parâmetros a cerca de 230 milissegundos, e conecta aos serving engines open source vLLM, SGLang e llm-d.
Para as empresas, o ponto é econômico. Um agente que mantém um contexto de 500.000 tokens por uma tarde, em grande parte esperando ferramentas e pessoas, ocupa memória caríssima o tempo todo, a menos que seu estado possa ser estacionado e restaurado. Notamos a mesma alavanca quando o llm-d levou o custo de inferência para baixo do modelo.
O resto, em resumo
O Cloud Pathways, o runtime distribuído que o DeepMind construiu para treinar e servir o Gemini, está agora em disponibilidade geral (GA) no GKE, e o Google diz que ele processou mais de 130 milhões de horas de chip TPU nos últimos 90 dias. O GKE dynamic slicing está em disponibilidade geral (GA), com alegações de inicialização de jobs até cinco vezes mais rápida e recuperação de falhas até 4,5 vezes mais rápida. Uma TPU agent suite open source em preview funciona com Claude Code, Cursor e Google Antigravity.
O que perguntar ao seu time de cloud
A maioria das empresas não vai comprar TPUs diretamente; vai encontrar esses chips por meio de serviços gerenciados. Três perguntas continuam valendo. Nosso fine-tuning ou destilação pode rodar sob computação confidencial, e que atestação vamos receber? Como o fornecedor cobra por sessões ociosas de agentes, e a memória deles é estacionada ou fica retida? E quais das nossas cargas de trabalho de agentes são limitadas por memória, e não por computação? As respostas vão pesar mais na conta do que os ganhos de velocidade anunciados.