Agentes de segurança da Block guardam evidência bruta de cada investigação. Tarefa rara vira uma hora.

Um alerta em um laptop parecia um problema menor de política. Durante a revisão por pares, o modelo que trabalhava o caso seguiu um indicador que apareceu apenas incidentalmente na evidência, cruzou-o com os logs de identidade da Block e encontrou um conjunto muito maior de problemas. “Um alerta rotineiro de endpoint se tornou a derrubada de uma campanha”, diz James Nettesheim, CISO da Block. “Nenhuma ferramenta sozinha faz essa junção. O sinal só existe nos logs de dois produtos.”

Essa história, de um perfil de cliente da OpenAI publicado em 14 de outubro, é do tipo que geralmente se conta sobre IA em operações de segurança: o agente vê o que um analista ocupado perderia. A lição mais útil no relato da Block é mais silenciosa, e é sobre o que o sistema mantém.

A prática: armazenar a evidência, não apenas o veredito

A Block, a empresa por trás do Square, Cash App e Afterpay, conduz detecção, investigação e trabalho de vulnerabilidade por meio de um harness de segurança construído sobre o Daybreak, da OpenAI. De acordo com o perfil, cada investigação armazena sua evidência bruta da consulta. Por causa disso, a equipe pode reproduzir uma mudança de detecção proposta em sete meses de telemetria de produção em menos de uma hora.

Antes, testar uma mudança de detecção significava reconsultar centenas de casos antigos manualmente, e a Block diz que isso raramente acontecia na prática. O ajuste de detecção sem um teste de regressão é adivinhação: uma regra apertada para reduzir falsos positivos pode silenciosamente parar de detectar aquilo para o que foi escrita. A evidência armazenada transforma investigações passadas em um conjunto de testes. Cada nova regra pode ser verificada contra o que realmente aconteceu, antes de entrar em produção.

Esta é a ideia transferível, e não depende do Daybreak. Qualquer investigação de IA que registra apenas sua conclusão produz uma opinião. Uma que registra as consultas que executou e os dados que retornaram produz algo que um revisor pode verificar, um regulador pode amostrar e uma mudança futura pode ser testada. É a diferença entre o resumo de um agente e a evidência mantida fora do agente.

Os resultados, conforme a Block relata

Os números são relatados pelo cliente e vêm do ambiente da Block:

• menos de uma hora para reproduzir uma mudança de detecção em sete meses de telemetria;
• cerca de 600 horas de analista por trimestre devolvidas da triagem de falsos positivos;
• cerca de 1,100 horas de analista de investigação concluídas por trimestre, porque cada alerta agora recebe uma investigação completa;
• um aumento de 50% na taxa de triagem e na coleta de inteligência e investigações;
• em exercícios recentes de red teaming, 18 minutos desde a submissão de uma vulnerabilidade de alto nível até uma proposta automatizada de patch.

Esse último número merece cuidado. Um patch proposto não é uma correção implantada. A Block descreve seu processo em cada descoberta como localizar o problema e seu responsável, propor um patch, confirmar a explorabilidade e verificar a correção, “com um humano no loop orientando e implantando as mudanças de código.”

A arquitetura em torno do modelo

Três escolhas de design no harness da Block valem a pena copiar:

Roteamento por tarefa. “Costumávamos usar o modelo mais recente, mas você não precisa mais fazer isso”, diz Nettesheim. O harness encaminha o trabalho para modelos diferentes para tarefas diferentes, e é assim que custo e profundidade se equilibram em um sistema que investiga cada alerta.

Pontos de handover. O harness inclui hooks para humanos assumirem uma tarefa e para agentes verificarem o trabalho uns dos outros. A revisão por pares entre agentes foi onde o caso do laptop se transformou em uma campanha.

Avaliação contínua. A equipe avalia o sistema com benchmarks internos e desempenho do mundo real e encaminha o trabalho para revisão humana “quando esse é o caminho responsável.”

Autonomia em uma escada

A Block é explícita que os agentes não carregam o contexto da organização ou o raciocínio por trás de decisões anteriores; as pessoas fornecem isso. “À medida que o julgamento da IA é comprovado na prática”, diz Nettesheim, “vamos subir lentamente a escada do nível de risco para usá-la em sistemas mais sensíveis.” Essa é a abordagem que defendemos em autonomia conquistada por classe de ação, declarada por um CISO de uma empresa financeira regulada.

A Sophos mostrou um padrão relacionado na semana passada, com autoridade dos agentes definida pelo modo de resposta de cada cliente. A contribuição da Block é a camada de evidência por baixo. Se você está construindo ou comprando um assistente de segurança de IA, faça uma pergunta primeiro: quando ele fecha um caso, você consegue reproduzir o que ele viu? Se a resposta for não, a velocidade que você ganha hoje se torna um problema de auditoria mais tarde.