Herramientas de observabilidad de agentes de IA: qué cubre cada una y qué ninguna puede decirle
Snowflake, AWS, Microsoft, Collibra y otras ya venden observabilidad para agentes de IA. Cada una cubre capas distintas. Una guía de las cuatro capas, las herramientas y qué preguntar antes.
Escuche este artículo · 7 min
Narración completa del artículo, generada con IA.
“¿Qué herramienta deberíamos usar para monitorizar nuestros agentes de IA?” es la pregunta que más se hacen los equipos de plataforma cuando el segundo agente llega a producción. La respuesta honesta es que ningún producto la responde por sí solo, porque la “observabilidad” de agentes abarca cuatro trabajos distintos, y las herramientas del mercado hacen bien uno o dos.
Esta guía ordena esas capas, sitúa en cada una las herramientas que ya hemos analizado y termina con las preguntas que deciden si una herramienta resiste en producción. Se irá actualizando a medida que cambie el mercado.
Cuatro capas, cuatro preguntas distintas
1. Trazas: ¿qué hizo el agente? El registro de cada ejecución: prompts, respuestas, documentos recuperados, llamadas a herramientas con sus argumentos, tokens e identificadores de sesión. Sin él, no se puede explicar nada más.
2. Evaluación: ¿acertó? Comprobaciones de calidad, sobre tráfico real y antes de cada release: pruebas deterministas cuando se conoce la respuesta correcta, jueces basados en modelos cuando no.
3. Inventario, uso y costo: ¿qué está en marcha, de quién es, cuánto cuesta? Qué modelos y agentes están desplegados, por quién, con qué tráfico, gasto y cuota.
4. Gobierno entre plataformas: ¿se puede comparar y actuar entre proveedores? Una capa que recoge señales de varias plataformas y las pone junto al responsable, la evaluación de riesgo y el estado del ciclo de vida.
La monitorización clásica de aplicaciones no cubre ninguna de las cuatro. Dice que el agente respondió y con qué rapidez. Como escribimos cuando Snowflake anunció su producto, un agente de IA puede devolver un 200 y aun así equivocarse.
| Herramienta | Trazas | Evaluación | Inventario y costo | Entre plataformas |
|---|---|---|---|---|
| Snowflake Agent Observability (private preview) | Prompts, recuperaciones, herramientas, tokens | Juez LLM en línea, resultados offline | Costo por traza | OTLP desde frameworks propios |
| Amazon CloudWatch Omni | Cinco frameworks de agentes, multicloud | Workflow orientado a evaluación | No descrito | Telemetría de AWS, Azure y Google Cloud |
| Evaluaciones de Amazon Bedrock AgentCore | No es el foco | Evaluadores integrados y propios | No | No |
| Dashboard de Microsoft Foundry por tenant (arquitectura de referencia) | No, por diseño | No | Inventario, uso, costo, cuota | Solo Azure |
| Collibra Platform 2026.10 | No, lee las plataformas | Tasas de aprobación de cada plataforma | Recuento de tokens | Databricks, Bedrock, Gemini, Foundry |
Las herramientas, capa por capa
Snowflake Agent Observability es el diseño de trazas y evaluación más completo que hemos visto anunciado. Registra prompts, respuestas, recuperaciones, llamadas a herramientas, tokens y sesiones, deriva de ello latencia, errores y costo estimado, y ejecuta evaluaciones en línea con un LLM como juez sobre el tráfico de producción. Sigue las convenciones semánticas de GenAI de OpenTelemetry, todavía en formación, y admite LangChain, el OpenAI Agents SDK y el SDK de agentes de Anthropic. Se anunció en private preview, así que el alcance y el precio aún pueden cambiar.
Amazon CloudWatch Omni es la experiencia de observabilidad asistida por IA de AWS. Abarca cuentas, regiones y otras nubes, incluidas Azure y Google Cloud, usa OpenTelemetry y ofrece a los agentes construidos con LangGraph, CrewAI, OpenAI Agents SDK, Vercel AI SDK y Strands un workflow orientado a evaluación. El 19 de octubre llegó a ocho regiones más, entre ellas Fráncfort, Londres y São Paulo.
Las evaluaciones de Amazon Bedrock AgentCore están en la segunda capa. El relato público más útil sobre ellas es el de la propia AWS: sus agentes de ventas superaban todas las comprobaciones operativas mientras informaban una cifra de $410.08 como “$410.08 Million”, y la solución fue un pipeline de evaluación integrado en cada release, con comprobaciones deterministas para respuestas conocidas y evaluadores propios donde los integrados no cubrían los fallos que cuestan dinero.
El dashboard de Microsoft Foundry por tenant no es un producto sino una arquitectura de referencia, y resuelve bien la tercera capa: inventario con Azure Resource Graph, uso con Azure Monitor, costo con Cost Management y cuota por separado, sin recoger prompts ni respuestas, por diseño.
Collibra Platform 2026.10 trabaja en la cuarta capa. Lee tasas de aprobación de monitores y recuentos de tokens de agentes en Databricks, AWS Bedrock, Gemini Enterprise Agent Platform y Azure AI Foundry, y los muestra junto a los datos de gobierno. Su propia documentación incluye la advertencia que importa: qué se recoge, y cómo se decide aprobado o fallido, cambia según la plataforma.
Los agentes de operaciones, como AWS DevOps Agent y Azure SRE Agent, consumen esta telemetría en lugar de producirla. Diagnostican incidentes a partir de ella, y ese diagnóstico es un punto de partida, no un hallazgo.
Cinco preguntas que deciden si una herramienta resiste
¿Emite o acepta trazas con las convenciones GenAI de OpenTelemetry? Instrumentar los agentes con un estándar abierto permite llevar las trazas a otro backend más adelante. Es el seguro más barato contra el lock-in en este mercado.
¿Evalúa lo que hizo el agente, o lo que dijo que hizo? Un juez que lee el mensaje final del agente evalúa su relato. Google vio cómo su juez suspendía ejecuciones que habían pasado, porque leía el resumen en lugar de la trayectoria. Pregunte si las evaluaciones pueden puntuar las llamadas a herramientas y su orden.
¿Qué pasa con las puntuaciones cuando cambia el juez? Los modelos juez también se retiran. Cuando Snowflake cambió el juez de las evaluaciones de Cortex, dijo claramente que las puntuaciones de distintas versiones de la métrica no son directamente comparables. La herramienta debe permitir fijar, versionar y calibrar jueces, y mostrar qué juez produjo cada puntuación.
¿Dónde se comprueban de forma determinista las respuestas conocidas? Los jueces basados en modelos son para preguntas sin una única respuesta correcta. Cifras de ingresos, fechas, coincidencias de entidades y límites de política deben contrastarse con la fuente, como hace AWS.
¿Dónde vive la telemetría, y quién puede leerla? Las trazas guardan los prompts, documentos y datos de clientes que se confiaron al agente. En España y el resto de la UE son datos personales sujetos al RGPD como cualquier otro, y el almacén de observabilidad necesita los mismos controles de acceso, enmascaramiento, retención y decisiones de residencia que los sistemas de origen. Pregunte en qué región procesa los datos cada funcionalidad, no solo en qué región está la consola.
Por dónde empezar
Para el primer agente en producción: instrumente trazas con las convenciones GenAI de OpenTelemetry, escriba qué tipos de fallo costarían dinero y cree comprobaciones deterministas para ellos antes de añadir un juez. Sume la vista de inventario y costo cuando el segundo equipo despliegue un agente. Añada una capa entre plataformas solo cuando haya agentes en más de un proveedor y alguien haya acordado comprobaciones comunes, porque agregar cifras incomparables produce un dashboard, no evidencia.