Um agente de IA passa a maior parte da vida esperando. A infraestrutura já é precificada em torno disso
Agent Substrate, Agent Compute Engine, TPU Sync, AlloyDB Express e um exemplo de código da AWS atacam o mesmo custo: o que um agente ocioso ocupa. Uma nota de campo sobre orçar a espera.
Ouça este artigo · 4 min
Narração completa do artigo, gerada por IA.

Acompanhe um agente de IA enterprise ao longo de um dia de trabalho. Ele lê uma solicitação, chama uma ferramenta e espera dois segundos. Dispara uma execução de testes e espera quatro minutos. Pede a aprovação de um gestor para uma etapa e espera até depois do almoço. Agenda um acompanhamento para amanhã de manhã. Medido no relógio, o agente pensou por alguns minutos e esperou por horas.
A maior parte dos orçamentos de IA é construída em torno dos minutos. A infraestrutura lançada nas últimas duas semanas é construída em torno das horas, e esse é o sinal que vale notar.
Quatro fornecedores, um problema
Lidos lado a lado, vários anúncios de novembro respondem à mesma pergunta: o que um agente deve segurar enquanto espera?
- Agent Substrate, agora em disponibilidade geral (GA) no GKE, existe porque o Kubernetes comum amarra a identidade do agente a um Pod e mantém sua memória e CPU reservadas enquanto o agente está ocioso. O Substrate estaciona o estado do agente e o restaura em menos de meio segundo, segundo os números do Google, para que a computação possa atender outros agentes nesse meio tempo.
- Agent Compute Engine, citado no anúncio de TPU do Google, suspende sessões de agentes ociosas e move a memória de trabalho delas para fora do acelerador em milissegundos. O TPU Sync move o KV cache do modelo entre memória do chip, memória do host e armazenamento como uma única hierarquia, que é em torno do que os novos TPUs foram desenhados.
- AlloyDB Express pausa um banco de dados depois de 15 minutos sem consultas e não cobra nada por computação enquanto ele está pausado, porque agentes de código criam bancos de dados que depois deixam sozinhos.
- Um exemplo da AWS para o Claude Code remoto mostra o caso oposto com honestidade: o deploy dele cobra enquanto está ocioso, e o orçamento padrão envia um email em vez de parar o gasto.
Nenhum desses fornecedores apresenta as coisas assim. Nossa leitura, e é uma visão e não um fato, é que o custo de uma frota de agentes está migrando do que os agentes fazem para o que eles mantêm enquanto não fazem nada.
Onde o estado deve ficar
A resposta certa depende de quanto tempo dura a espera. A memória de trabalho de um modelo para uma conversa é caro de manter em um acelerador e barato de manter em disco, e movê-la custa tempo.
Quanto tempo o agente espera, e onde o estado dele deve ficar?
SegundosDias
- Chamada de ferramentaMantenha tudo no lugar
- Execução de testes ou buildEstacione a memória fora do acelerador; mantenha o sandbox
- Aprovação humanaPersista o estado; libere computação e sandbox
- Acompanhamento agendadoCheckpoint no armazenamento; reconstrua o contexto ao acordar
A aprovação humana é o caso em que a maioria dos times erra. Aprovações levam de minutos a dias, e um agente esperando por uma costuma segurar um sandbox, credenciais abertas e um contexto grande o tempo todo. Isso é caro, e também é uma exposição de segurança: credenciais que vivem por horas esperando uma assinatura são credenciais que alguém pode roubar.
Três práticas
Classifique as esperas antes de comprar capacidade. Para cada agente, registre em log quanto tempo ele passa pensando, esperando ferramentas, esperando sistemas e esperando pessoas. A distribuição decide se você precisa de modelos mais rápidos, mais sandboxes ou de um estacionamento melhor. Isso estende a auditoria de ritmo que propusemos para sistemas dimensionados para humanos: agentes também esperam por pessoas.
Defina uma regra de estacionamento por tipo de espera. Decida o que o agente libera e depois de quanto tempo: memória do acelerador depois de segundos, o sandbox depois de minutos, credenciais sempre que uma pessoa precisar agir. Faça disso uma configuração da plataforma, não algo que cada time redescobre.
Precifique o estado retido. Adicione uma linha ao custo unitário do agente para recursos ociosos, ao lado de tokens e chamadas de ferramenta. Defendemos precificar agentes por tarefa concluída. A espera faz parte desse preço e, em algumas cargas de trabalho, será a maior parte dele.
O modelo é a parte de um agente para a qual todo mundo faz orçamento. A sala de espera é a parte que cresce em silêncio conforme os agentes se multiplicam.