Un agente que lee el almacén de ayer se equivoca hoy. Confluent y Databricks compiten por servir el ahora
Streamhouse y Lightning Tables de Confluent, y una ruta CDC sin Kafka de Debezium a Databricks, buscan dar a los agentes el estado actual del negocio. La frescura va en la especificación del agente.
Escuche este artículo · 4 min
Narración completa del artículo, generada con IA.
Un cliente llama para decir que un envío nunca llegó. El agente de servicio consulta el sistema de pedidos, ve “en tránsito” y le tranquiliza. La transportista lo marcó como perdido hace dos horas, pero esa actualización llega al almacén de datos que el agente lee esta noche.
Nada en ese intercambio es un error del modelo. El agente razonó correctamente a partir de una visión desactualizada del negocio. A medida que los agentes pasan de responder preguntas a ejecutar acciones, ese tipo de error se vuelve el costoso, y dos anuncios de principios de noviembre lo abordan desde direcciones opuestas.
Confluent pone el stream en el centro
El 4 de noviembre, Confluent, ahora una empresa de IBM, presentó Streamhouse, una arquitectura pensada para dar a los agentes y las aplicaciones una visión gobernada y actualizada de forma continua del estado actual del negocio. Su plataforma de streaming de datos se organiza ahora en cinco pilares: stream, connect, process, govern y query.
La pieza nueva está en el pilar query. Lightning Tables, con disponibilidad general (GA) en AWS, materializa datos de Kafka en tablas que se pueden consultar con SQL o una API. Confluent dice que los datos se pueden servir unos 100 milisegundos después de crearse, con una latencia de consulta de 10 a 100 milisegundos y más de 1.000 consultas por segundo. Esas cifras provienen de pruebas internas de Confluent y varían según la configuración. Lightning Tables es de solo lectura, y Confluent posiciona Streamhouse junto a los almacenes de datos y lakehouses existentes, no como un reemplazo. Un Real-Time Context Engine sirve ese contexto a los agentes mediante MCP.
Accenture, citada en el anuncio, dice que pasar de integraciones por lotes y punto a punto a este diseño redujo su tiempo para obtener insights de meses a días.
Databricks quita el stream del medio
Un día después, Databricks describió el camino opuesto. La versión 3.7 de Debezium Server incluye un sink para Zerobus Ingest que empuja eventos de captura de cambios (CDC) desde bases de datos como PostgreSQL, MySQL, SQL Server, Oracle y MongoDB directamente a tablas de Unity Catalog, sin un clúster de Kafka en medio. NVIDIA aportó un modo envelope y salvaguardas de entrega: el sink espera hasta que Zerobus confirma que los eventos son durables antes de que Debezium mueva su posición en el log de origen.
La letra pequeña importa para los agentes. La entrega es al menos una vez, no exactamente una vez. Cada evento lleva una clave de idempotencia, pero los duplicados deben eliminarse aguas abajo.
¿Qué tan actual es el estado que lee su agente?
AyerAhora
- Lote nocturnoCarga típica del almacén
- Por horas o micro-lotesPipelines de lakehouse habituales
- CDC por pushLos eventos de cambio llegan al confirmarse
- Stream materializadoUnos 100 ms, según las pruebas de Confluent
La frescura es un requisito, no una característica
Hemos argumentado que el contexto de un agente necesita una especificación, y la frescura es una de sus cuatro propiedades. Estos lanzamientos hacen posible cumplir un objetivo de frescura exigente. No le dicen cuál debería ser el objetivo.
Defínalo por acción:
- Responder preguntas sobre políticas o historial puede tolerar una carga diaria.
- Decirle a un cliente el estado de un pedido o de un siniestro necesita minutos como máximo.
- Actuar sobre inventario, crédito, fraude o un pago necesita el estado actual y una comprobación contra el sistema de registro justo antes de la acción.
Siguen dos precauciones prácticas. Primera: la entrega al menos una vez significa que un agente puede ver el mismo cambio dos veces. Cualquier acción desencadenada por un evento, como un reembolso o una notificación, necesita su propia clave de idempotencia, o puede ocurrir dos veces. Segunda: una copia rápida sigue siendo una copia. Para acciones irreversibles, el agente debe leer o confirmar con el sistema que es dueño del registro, como argumentamos sobre dónde debe residir la autoridad para confirmar.
Confluent y Databricks competirán por las cifras de latencia. La decisión que importa es interna: para cada cosa que hacen sus agentes, ¿cuán viejo es demasiado viejo?