O que um agente de IA faz entre pensamentos roda em CPUs. A aposta da NVIDIA na Vera é um alerta de capacidade

Observe um agente de programação trabalhar por um minuto. Ele pensa, depois busca em um repositório, roda uma suíte de testes, inicia um contêiner, consulta um banco de dados, lê a saída e pensa de novo. Só o pensamento acontece em uma GPU. Tudo entre esses momentos roda em processadores comuns.

É esse o argumento que a NVIDIA, logo ela, apresentou neste mês para a sua Vera CPU: conforme os agentes se multiplicam, o trabalho de CPU em volta do modelo se torna um gargalo por si só.

A afirmação e as evidências

A NVIDIA diz que data centers construídos para IA são limitados por energia, então o processador que coordena agentes deve maximizar o trabalho por watt enquanto atende muitos agentes ao mesmo tempo. Para a Vera, a NVIDIA afirma 1,6 vezes mais agentes por watt que a CPU x86 mais rápida, e o dobro da velocidade dos agentes do componente x86 mais eficiente em energia.

Os números mais interessantes vêm dos parceiros, cada um descrevendo a sua própria carga de trabalho:

• A Daytona, que roda sandboxes para agentes, colocou 1.000 sandboxes no ar em 10,8 segundos na Vera, contra 88,4 segundos em x86.
• A Modal relata até o dobro do throughput de sandboxes por núcleo, com a diferença crescendo sob carga pesada.
• A DeepInfra mediu até 2,2 vezes a velocidade do melhor processador x86 em orquestração de agentes para uma carga de trabalho de produção.
• A Perplexity viu tarefas de programação agêntica rodarem 1,5 vezes mais rápido e planeja fazer o deploy da Vera em um próximo sistema de produção.
• A ClickHouse diz que o seu binário padrão escalou quase linearmente até 176 núcleos sem ajuste específico para a Vera, e a DuckLabs relata cerca de 1,5 vezes o desempenho de uma linha de base Intel Xeon 6 em um grande benchmark analítico.

São números de fornecedores e parceiros, escolhidos para mostrar bem o produto. Ainda assim são úteis, porque mostram quais cargas de trabalho as pessoas que rodam agentes em escala consideram o gargalo: inicialização de sandboxes, orquestração e os bancos de dados que os agentes consultam.

Onde o trabalho de um agente realmente roda

Acelerador

• Raciocínio e geração
• Embeddings

O que a maioria dos orçamentos considera

CPU

• Início e encerramento de sandbox
• Execução de código e testes
• Busca e recuperação
• Consultas a bancos de dados
• Orquestração e chamadas de ferramentas

O que os agentes multiplicam

Por que isso importa mesmo se você nunca comprar a Vera

Planos de capacidade enterprise para IA costumam partir de tokens: quantas requisições, quantos tokens cada uma, qual modelo. Agentes quebram esse hábito. Uma única requisição de usuário a um agente pode iniciar um sandbox, rodar um build, chamar cinco ferramentas e consultar três sistemas antes de o modelo escrever uma palavra da resposta.

Por isso, os sistemas que falham primeiro sob carga de agentes muitas vezes não são os servidores de inferência. São os runners de CI, o pool de sandboxes, as réplicas de leitura e o cluster de busca, todos dimensionados para o ritmo humano. Já argumentamos que os primeiros sistemas a falhar com a adoção de agentes são os que foram dimensionados para pessoas, e a lista de parceiros da NVIDIA parece uma lista desses sistemas.

Isso também muda o quadro de custos. A própria Minerva, da NVIDIA, mede o rendimento da fábrica de IA no lado do acelerador. O lado da CPU precisa da sua própria métrica de rendimento: tarefas de agente concluídas por servidor, por watt ou por dólar, não utilização de CPU.

O que medir antes da próxima expansão

Para times que rodam agentes em infraestrutura privada ou capacidade reservada de nuvem:

1. Mapeie uma tarefa de agente de ponta a ponta. Registre quanto tempo ela passa esperando o modelo, as ferramentas, os sandboxes e os bancos de dados. A divisão raramente é a que o orçamento pressupõe.
2. Faça um teste de carga no pool de sandboxes. O tempo de inicialização sob concorrência, não a velocidade de um único sandbox, decide quantos agentes podem rodar ao mesmo tempo.
3. Separe o tráfego de agentes nos bancos de dados compartilhados. Agentes leem mais e mais rápido do que pessoas. Uma réplica ou uma cota para consultas de agentes protege os sistemas que as pessoas ainda usam.
4. Preço por tarefa concluída. GPUs, CPUs, armazenamento e rede juntos, divididos pelas tarefas que terminaram corretamente.

Se a Vera vence essas comparações no seu ambiente é uma questão de compras. Que a CPU pertence ao modelo de custo de agentes já não é.