Los agentes de seguridad de Block guardan la evidencia de las investigaciones. Una tarea rara pasó a una hora

Una alerta en un portátil parecía un problema menor de política. Durante la revisión por pares, el modelo que trabajaba el caso siguió un indicador que apareció solo de forma incidental en la evidencia, lo cruzó con los logs de identidad de Block y encontró un conjunto de problemas mucho mayor. “Una alerta de endpoint de rutina se convirtió en la desarticulación de una campaña”, dice James Nettesheim, CISO de Block. “Ninguna herramienta por sí sola hace ese cruce. La señal solo existe en los logs de dos productos.”

Esa historia, de un perfil de cliente de OpenAI publicado el 14 de octubre, es del tipo que se suele contar sobre la IA en las operaciones de seguridad: el agente ve lo que un analista ocupado pasaría por alto. La lección más útil en el relato de Block es más silenciosa, y trata sobre lo que el sistema conserva.

La práctica: guardar la evidencia, no solo el veredicto

Block, la empresa detrás de Square, Cash App y Afterpay, ejecuta trabajo de detección, investigación y vulnerabilidades a través de un harness de seguridad construido sobre Daybreak de OpenAI. Según el perfil, cada investigación almacena su evidencia de consulta sin procesar. Gracias a eso, el equipo puede reproducir un cambio de detección propuesto contra siete meses de telemetría de producción en menos de una hora.

Antes, probar un cambio de detección significaba volver a consultar cientos de casos antiguos a mano, y Block dice que rara vez ocurría en la práctica. El ajuste de la detección sin una prueba de regresión es una conjetura: una regla ajustada para reducir los falsos positivos puede dejar de detectar silenciosamente aquello para lo que fue escrita. La evidencia almacenada convierte investigaciones pasadas en un conjunto de pruebas. Cada nueva regla se puede verificar contra lo que realmente ocurrió, antes de que entre en producción.

Esta es la idea transferible, y no depende de Daybreak. Cualquier investigación de IA que solo registra su conclusión produce una opinión. Una que registra las consultas que ejecutó y los datos que devolvieron produce algo que un revisor puede verificar, un regulador puede muestrear y un cambio futuro puede probarse contra ello. Es la diferencia entre el resumen de un agente y la evidencia guardada fuera del agente.

Los resultados, según los reporta Block

Las cifras son reportadas por el cliente y provienen del entorno de Block:

• menos de una hora para reproducir un cambio de detección contra siete meses de telemetría;
• alrededor de 600 horas de analista por trimestre devueltas de la triaje de falsos positivos;
• alrededor de 1,100 horas de analista de investigación completadas por trimestre, porque cada alerta ahora recibe una investigación completa;
• un aumento del 50% en el rendimiento de triaje y en la recopilación de inteligencia e investigaciones;
• en ejercicios recientes de red team, 18 minutos desde el envío de una vulnerabilidad de alto nivel hasta un parche propuesto automatizado.

Ese último número merece cuidado. Un parche propuesto no es una solución desplegada. Block describe su proceso en cada hallazgo como localizar el problema y su propietario, proponer un parche, confirmar la explotabilidad y verificar la solución, “con un human-in-the-loop guiándolo y desplegando los cambios de código.”

La arquitectura alrededor del modelo

Tres decisiones de diseño en el harness de Block merecen ser copiadas:

Enrutamiento por tarea. “Solíamos usar el modelo más reciente, pero ya no necesita hacer eso”, dice Nettesheim. El harness enruta el trabajo a diferentes modelos para diferentes tareas, que es como se equilibran el coste y la profundidad en un sistema que investiga cada alerta.

Puntos de traspaso. El harness incluye hooks para que los humanos tomen el control de una tarea y para que los agentes verifiquen el trabajo de los demás. La revisión por pares entre agentes es donde el caso del portátil se convirtió en una campaña.

Evaluación continua. El equipo evalúa el sistema contra benchmarks internos y el rendimiento del mundo real y enruta el trabajo a revisión humana “cuando ese es el camino responsable.”

Autonomía en una escalera

Block es explícito en que los agentes no llevan el contexto de la organización ni el razonamiento detrás de decisiones anteriores; las personas lo aportan. “A medida que el juicio de la IA se demuestra en la práctica”, dice Nettesheim, “subiremos lentamente el nivel de riesgo para usarla en sistemas más sensibles.” Ese es el enfoque que defendimos en autonomía ganada por clase de acción, declarado por un CISO de una empresa financiera regulada.

Sophos mostró un patrón relacionado la semana pasada, con autoridad del agente establecida por el modo de respuesta de cada cliente. La contribución de Block es la capa de evidencia subyacente. Si usted está construyendo o comprando un asistente de seguridad de IA, hágase una pregunta primero: cuando cierra un caso, ¿puede reproducir lo que vio? Si la respuesta es no, la velocidad que gana hoy se convierte en un problema de auditoría más adelante.