Os líderes da Microsoft querem um freio de emergência para a IA. Parar um agente é o fácil de um incidente

Em quatro dias, o CEO da Microsoft pediu um freio de emergência para a IA, o presidente da empresa pediu leis que exijam relatórios de incidente, e a Casa Branca avisou às empresas de IA que divulgar incidentes não é opcional. Nenhum deles disse o que acontece com a transação pela metade quando o freio é puxado.

É nessa lacuna que as empresas vão sentir esses debates primeiro.

O que foi proposto, de fato

Em 10 de outubro, Satya Nadella publicou que era hora de “dar um passo atrás e avaliar a arquitetura de confiança” da IA. A receita dele, segundo o TechCrunch: “separar o modelo do harness que orquestra o seu trabalho”, “externalizar controles e salvaguardas”, “evidência à prova de adulteração e legível por humanos” para “toda ação relevante do modelo”, e a possibilidade de uma “pessoa autorizada” “pausar ou desligar um modelo no meio da tarefa”. A premissa: “Precisamos presumir que um modelo está comprometido e contê-lo desde o início.” A analogia: “Pense nisso como um freio de emergência.”

No dia seguinte, o presidente da Microsoft, Brad Smith, disse à BBC que as empresas precisam de “freios de emergência”, que deveria haver uma exigência legal de escrever “relatórios de incidente” e avisar as vítimas quando a IA sai do controle, e que avaliadores independentes do governo deveriam examinar novas tecnologias de IA. O acordo voluntário que as empresas de IA assinaram na Casa Branca foi, nas palavras dele, “um bom passo, um passo necessário… Mas não acho que seja mais suficiente”.

As duas falas vieram dias depois de a Anthropic revelar que seus modelos tinham tomado ações não intencionais em sistemas externos reais durante avaliações, incluindo envios de formulários de visto que o Departamento de Estado depois confirmou, e depois de a Super Intelligence Force da Casa Branca afirmar que notificar e remediar incidentes “não é opcional”.

São posições e cobranças, não leis. Nadella não anunciou produto; Smith propôs regras que ainda não existem; o comunicado da Casa Branca não citou mecanismo de fiscalização. Mesmo assim, elas mostram para onde vão as expectativas sobre as empresas, e miram os fornecedores de modelos. As empresas que operam agentes sobre esses modelos vão ouvir as mesmas perguntas dos próprios conselhos, auditores e clientes.

O freio é a parte simples

Parar um agente é tecnicamente fácil: revogar as credenciais, matar o processo, fechar a sessão. Difícil é pará-lo num lugar seguro.

Um agente na metade de uma tarefa já mudou coisas. Atualizou três de cinco registros, enviou um de dois e-mails, criou um pedido de compra mas não a solicitação de aprovação correspondente. Puxar o freio num momento qualquer pode deixar os sistemas num estado que nenhuma pessoa teria escolhido, e às vezes o estado inconsistente é pior do que deixar a tarefa terminar.

Por isso o freio precisa ser desenhado junto com a tarefa. Na nossa visão, isso exige:

1. Detectar tentativas, não só resultados
2. Parar num ponto seguro
3. Preservar evidência fora do agente
4. Classificar: erro, violação ou incidente notificável
5. Avisar donos e afetados
6. Remediar e devolver autonomia com evidência

• Desenhado antes do go-live: Detectar tentativas, não só resultados · Parar num ponto seguro · Preservar evidência fora do agente · Classificar: erro, violação ou incidente notificável

SinalControles de engenharia

Detectar tentativas, não só resultados. Muitos incidentes com agentes começam como tentativas bloqueadas, como mostraram os relatórios da Anthropic e da OpenAI. Um monitoramento que só avalia respostas finais não os vê.

Parar num ponto seguro. Tarefas longas precisam de checkpoints onde parar deixa os sistemas consistentes, e de ações que possam ser compensadas ou repetidas sem duplicar. Se o trabalho de um agente não pode ser interrompido com segurança, o freio dele é um passivo.

Preservar evidência fora do agente. A evidência “à prova de adulteração” de Nadella só funciona se o registro ficar num lugar onde o agente não escreve. É um dos motivos pelos quais defendemos que ninguém deve concentrar as seis autoridades sobre um agente: o sistema que roda o agente não deveria ser o sistema que guarda o registro dele.

Classificar rápido. Um erro de agente, uma violação de política e um incidente de segurança notificável correm em relógios diferentes. Quando há dados pessoais envolvidos, a Resolução CD/ANPD nº 15, de abril de 2024, dá ao controlador três dias úteis, a partir do conhecimento do fato, para comunicar à ANPD e aos titulares um incidente de segurança que possa causar risco ou dano relevante. Os critérios de classificação de eventos com agentes precisam existir antes do evento; ninguém escreve bons critérios às duas da manhã.

De quem é um incidente que atravessa fornecedores

A proposta de Smith colocaria o dever de reportar nas empresas que constroem IA. Numa implantação corporativa, um incidente costuma envolver pelo menos três partes: o fornecedor do modelo, quem construiu o agente e a organização que o opera. Cada uma guarda parte da evidência.

Isso faz dos deveres em incidentes uma questão de contrato antes de virar uma questão legal. Como escrevemos quando as regras de IA atrasaram e o comprador passou a carregar a governança, a garantia está migrando para os contratos: prazos de notificação, acesso a logs, cooperação nas investigações e quem avisa a parte afetada. Essas cláusulas são mais baratas de negociar agora do que durante o primeiro incidente.

Devolver autonomia faz parte do plano

O último passo é o que a maioria dos planos pula. Depois de um incidente, um agente deveria perder autonomia na classe de ação envolvida e reconquistá-la com evidência, a regra de rebaixamento que colocamos na escada de autonomia. Do contrário, o freio vira um botão de pausa, e o mesmo agente volta a fazer a mesma coisa com as mesmas permissões.

Nossa expectativa, e é uma visão, não um fato: os deveres de reportar incidentes de IA vão se ampliar nos próximos dois anos, começando pelas empresas que constroem modelos e descendo até as que operam agentes, principalmente por contrato. As organizações capazes de responder “o que o agente fez, quando vocês souberam, como pararam com segurança e quem avisaram” vão tratar essa regra como burocracia. As outras vão descobrir que o freio de emergência foi a única parte que construíram.