Quando agentes rodam experimentos, o gargalo está ao redor do modelo. Third Moment e Databricks mostram

Os agentes da Third Moment Research tinham um hábito que desperdiçava dinheiro. O backtesting de uma estratégia de trading ao longo de um ano de dados de ações dos EUA em nível de ordem levava várias horas e, enquanto esperavam, os agentes faziam polling repetidamente para ver se o job havia terminado. Cada verificação custava tokens e deixava outra mensagem de status no contexto deles, expulsando a pesquisa que deveriam estar fazendo.

A solução não foi um modelo melhor. De acordo com um perfil de cliente da OpenAI publicado em 14 de outubro, a Third Moment usou o Codex para analisar milhares de trajetórias de agentes gravadas, juntamente com timestamps e a base de código. Ele encontrou o gargalo, então uma otimização de caching e uma técnica de memory-packing, e reduziu o backtest de cerca de três horas para três a cinco minutos, uma redução de 97%. Os agentes pararam de queimar seus orçamentos com espera.

Um dia depois, a equipe de pesquisa em IA da Databricks descreveu a mesma lição de dentro de uma operação de pesquisa muito maior.

Duas organizações, uma mudança

A Third Moment executa cerca de 10,000 agentes simultaneamente em sessões de pesquisa de 36 a 48 horas, usando modelos da família GPT-6 e o harness Codex dentro de ambientes Dockerizados, com um terabyte de dados por agente. Ela relatou processar cerca de um trilhão de tokens da OpenAI em um único dia. Um harness externo examina trajetórias inacabadas e decide se deve tentar novamente, parar o job ou escalar para uma pessoa. Antes das simulações serem lançadas, ele usa o Daybreak da OpenAI para testar se um agente poderia escapar de seu ambiente de pesquisa. Esses são números relatados pelo cliente em um cenário excepcionalmente intensivo em computação.

A Databricks relata que os jobs de treinamento para uma área de pesquisa cresceram oito vezes depois que a equipe mudou para pesquisa liderada por agentes, na qual os agentes propõem mudanças, lançam experimentos em paralelo, avaliam métricas e atualizam seus planos. A equipe roda em Databricks AI Runtime, sua infraestrutura de GPU para treinamento, com verificações de saúde de GPU pré-voo, isolamento de nós com falha, prioridades e preempção, contêineres compartilhados, rastreamento automático de MLflow e dados governados através do Unity Catalog. Oito vezes mais jobs mede volume, não pesquisa melhor.

O que quebra primeiro

Os autores da Databricks nomeiam precisamente: tarefas que são administráveis em pequena escala, como inicializações lentas ou erros de configuração confusos, tornam-se gargalos quando os agentes lançam centenas de jobs. Uma pessoa espera dois minutos por um job começar e vai tomar um café. Um agente espera e faz polling, ou tenta novamente, ou interpreta mal o erro e lança algo errado.

Isso dá uma lista curta de propriedades de infraestrutura que importam mais quando os agentes são os usuários:

• Lançamentos rápidos. O tempo de inicialização se multiplica pelo número de experimentos. A Databricks destaca jobs começando em segundos.
• Erros acionáveis. Um erro que uma pessoa pode interpretar pela experiência deve se tornar um no qual um agente possa agir a partir de seu texto.
• Sinais de conclusão em vez de polling. O desperdício da Third Moment veio de agentes verificando jobs lentos. Callbacks ou notificações removem o loop completamente.
• Resultados através de uma API. Agentes precisam de acesso programático a métricas e logs, não a um dashboard.
• Contenção testada antes do lançamento. Agentes com ferramentas reais em sessões longas precisam ter seu ambiente sondado para rotas de fuga, como a Third Moment faz. Argumentamos que, para agentes de longa duração, o ambiente é o limite útil.

Trajetórias gravadas são o ativo

Ambas as organizações melhoram seus sistemas estudando o que os agentes realmente fizeram. A abordagem completa da Third Moment é construída sobre isso: analisar trajetórias gravadas, identificar fraquezas recorrentes, gerar cenários sintéticos em torno delas e melhorar os agentes. A correção do backtest veio dessa análise, não da intuição.

A maioria dos programas enterprise de agentes não mantém trajetórias em um formato que alguém possa estudar. Eles mantêm resultados, às vezes logs. Se seus agentes executam tarefas longas, armazene a sequência de ações, esperas, erros e resultados de ferramentas, e revise para encontrar tempo gasto esperando e repetindo. A Asana encontrou a maior parte de sua redução de custo do agente de navegador no workflow, antes de mudar modelos. A Third Moment encontrou no backtest de três horas.

Não é um modelo para escala

10,000 agentes simultâneos e um trilhão de tokens por dia não são metas para uma empresa comum, e os resultados da Third Moment se aplicam às suas próprias cargas de trabalho. O ponto transferível é menor e mais útil: quando o trabalho de um agente leva horas, olhe para as horas. Uma atualização de modelo melhora o raciocínio. Muitas vezes, a espera é onde o orçamento vai.