Ferramentas de observabilidade de agentes de IA: o que cada uma cobre, e o que nenhuma consegue dizer
Snowflake, AWS, Microsoft, Collibra e outras já vendem observabilidade para agentes de IA. Cada uma cobre camadas diferentes. Um guia das quatro camadas, das ferramentas e do que perguntar antes.
Ouça este artigo · 7 min
Narração completa do artigo, gerada por IA.
“Que ferramenta devemos usar para monitorar nossos agentes de IA?” é a pergunta que times de plataforma mais fazem quando o segundo agente entra em produção. A resposta honesta é que nenhum produto responde sozinho, porque “observabilidade” de agentes cobre quatro trabalhos diferentes, e as ferramentas do mercado fazem bem um ou dois deles.
Este guia mapeia essas camadas, posiciona em cada uma as ferramentas que já analisamos e termina com as perguntas que decidem se uma ferramenta aguenta a produção. Ele será atualizado conforme o mercado mudar.
Quatro camadas, quatro perguntas diferentes
1. Traces: o que o agente fez? O registro de cada execução: prompts, respostas, documentos recuperados, chamadas de ferramentas com seus argumentos, tokens e identificadores de sessão. Sem isso, nada mais pode ser explicado.
2. Avaliação: ele acertou? Checagens de qualidade, no tráfego real e antes de cada release: testes determinísticos onde a resposta certa é conhecida, juízes baseados em modelo onde não é.
3. Inventário, uso e custo: o que está rodando, quem é dono, quanto custa? Quais modelos e agentes estão no ar, de quem, com que tráfego, gasto e cota.
4. Governança entre plataformas: dá para comparar e agir entre fornecedores? Uma camada que coleta sinais de várias plataformas e os coloca ao lado de dono, avaliação de risco e status de ciclo de vida.
O monitoramento clássico de aplicações não cobre nenhuma das quatro. Ele diz que o agente respondeu e com que rapidez. Como escrevemos quando a Snowflake anunciou seu produto, um agente de IA pode responder 200 e errar.
| Ferramenta | Traces | Avaliação | Inventário e custo | Entre plataformas |
|---|---|---|---|---|
| Snowflake Agent Observability (private preview) | Prompts, recuperações, ferramentas, tokens | Juiz LLM online, resultados offline | Custo por trace | OTLP de frameworks próprios |
| Amazon CloudWatch Omni | Cinco frameworks de agentes, multicloud | Workflow orientado a avaliação | Não descrito | Telemetria de AWS, Azure e Google Cloud |
| Avaliações do Amazon Bedrock AgentCore | Não é o foco | Avaliadores prontos e customizados | Não | Não |
| Dashboard do Microsoft Foundry por tenant (arquitetura de referência) | Não, por design | Não | Inventário, uso, custo, cota | Só Azure |
| Collibra Platform 2026.10 | Não, lê as plataformas | Taxas de aprovação de cada plataforma | Contagem de tokens | Databricks, Bedrock, Gemini, Foundry |
As ferramentas, camada por camada
Snowflake Agent Observability é o desenho de traces e avaliação mais completo que vimos anunciado. Registra prompts, respostas, recuperações, chamadas de ferramentas, tokens e sessões, deriva disso latência, erros e custo estimado, e roda avaliações online com LLM como juiz no tráfego de produção. Segue as convenções semânticas de GenAI do OpenTelemetry, ainda em formação, e suporta LangChain, o OpenAI Agents SDK e o SDK de agentes da Anthropic. Foi anunciado para private preview, então escopo e preço ainda podem mudar.
Amazon CloudWatch Omni é a experiência de observabilidade assistida por IA da AWS. Abrange contas, regiões e outras nuvens, incluindo Azure e Google Cloud, usa OpenTelemetry e dá a agentes construídos com LangGraph, CrewAI, OpenAI Agents SDK, Vercel AI SDK e Strands um workflow orientado a avaliação. Em 19 de outubro chegou a mais oito regiões, incluindo São Paulo.
As avaliações do Amazon Bedrock AgentCore ficam na segunda camada. O relato público mais útil sobre elas é da própria AWS: seus agentes de vendas passavam em todas as checagens operacionais enquanto reportavam um valor de $410.08 como “$410.08 Million”, e a correção foi um pipeline de avaliação dentro de cada release, com checagens determinísticas para respostas conhecidas e avaliadores customizados onde os prontos não cobriam as falhas que custam dinheiro.
O dashboard do Microsoft Foundry por tenant não é um produto, mas uma arquitetura de referência, e resolve bem a terceira camada: inventário pelo Azure Resource Graph, uso pelo Azure Monitor, custo pelo Cost Management e cota acompanhada à parte, sem coletar prompts nem respostas, por design.
Collibra Platform 2026.10 trabalha na quarta camada. Lê taxas de aprovação de monitores e contagens de tokens de agentes no Databricks, no AWS Bedrock, no Gemini Enterprise Agent Platform e no Azure AI Foundry, e mostra tudo ao lado dos dados de governança. A própria documentação traz a ressalva que importa: o que é coletado, e como se decide aprovação ou falha, muda conforme a plataforma.
Agentes de operações, como o AWS DevOps Agent e o Azure SRE Agent, consomem essa telemetria em vez de produzi-la. Eles diagnosticam incidentes a partir dela, e esse diagnóstico é um ponto de partida, não uma conclusão.
Cinco perguntas que decidem se uma ferramenta aguenta
Ela emite ou aceita traces no padrão GenAI do OpenTelemetry? Instrumentar agentes num padrão aberto permite levar os traces para outro backend depois. É o seguro mais barato contra lock-in neste mercado.
Ela avalia o que o agente fez, ou o que ele disse que fez? Um juiz que lê a mensagem final do agente avalia a narrativa do agente. A Google viu seu juiz reprovar execuções que tinham passado, porque lia o resumo em vez da trajetória. Pergunte se as avaliações conseguem pontuar as chamadas de ferramentas e a ordem delas.
O que acontece com as notas quando o juiz muda? Modelos juízes também são aposentados. Quando a Snowflake trocou o juiz das avaliações do Cortex, disse com todas as letras que notas de versões diferentes da métrica não são diretamente comparáveis. A ferramenta precisa permitir fixar, versionar e calibrar juízes, e mostrar qual juiz produziu cada nota.
Onde as respostas conhecidas são checadas de forma determinística? Juízes baseados em modelo servem para perguntas sem uma única resposta certa. Valores de receita, datas, correspondência de entidades e limites de política devem ser conferidos contra a fonte, como faz a AWS.
Onde a telemetria fica, e quem pode ler? Traces guardam os prompts, documentos e dados de clientes que foram confiados ao agente. Pela LGPD, esses são dados pessoais como quaisquer outros, e o repositório de observabilidade precisa dos mesmos controles de acesso, mascaramento, retenção e decisões de residência dos sistemas de origem. Pergunte em qual região cada funcionalidade processa os dados, e não só em qual região fica o console.
Por onde começar
Para o primeiro agente em produção: instrumente traces no padrão GenAI do OpenTelemetry, escreva quais tipos de falha custariam dinheiro e crie checagens determinísticas para elas antes de adicionar um juiz. Inclua a visão de inventário e custo quando o segundo time colocar um agente no ar. Adicione uma camada entre plataformas só quando houver agentes em mais de um fornecedor e alguém tiver combinado checagens comuns, porque agregar números incomparáveis produz um dashboard, não evidência.