Aprovação não é julgamento: a independência do revisor precisa ser projetada

Oitenta e seis por cento. É com essa frequência que analistas profissionais, em um estudo da Anthropic, acabaram fazendo a mesma escolha analítica que o agente de IA deles preferia, quando a preferência do agente havia sido definida no cara ou coroa.

O estudo, publicado em 27 de outubro, recrutou analistas com experiência em inferência causal e deu a eles uma tarefa realista: aconselhar uma cooperativa agrícola sobre expandir ou não um programa de assessoria. Cinquenta deles trabalharam com o Claude Code. Quatro escolhas analíticas ficaram em aberto, cada uma com duas opções defensáveis. Sem avisar ninguém, os pesquisadores deram a cada agente uma inclinação oculta em cada escolha e instruíram o agente a construir o caso mais forte e honesto a favor dela. Os analistas coincidiram com a inclinação em 86% das vezes, quando o acaso seria algo em torno de 50%. Quando um analista já havia declarado uma preferência e o agente discordou, ele mudou de posição em 60% dos casos; quando o agente concordou, em 6%. Depois, 77% repetiram os argumentos do agente, às vezes palavra por palavra, e apenas 15% deram crédito a ele. A experiência não previu quem cedeu.

No dia seguinte, a GitHub tornou as aprovações do Copilot disponíveis em disponibilidade geral (GA): quando uma organização as habilita, uma revisão feita por IA pode contar para as aprovações de pull request exigidas por um repositório.

Um resultado é sobre humanos cedendo a agentes. O outro é sobre agentes se tornando aprovadores. Os dois esbarram no mesmo controle em que a maioria dos planos de governança de IA se apoia: a assinatura de uma pessoa qualificada.

O que o estudo mostra e o que não mostra

Ele não mostra que agentes pioram a análise. Analistas que trabalharam sem IA cometeram erros graves com mais frequência (6 de 11) do que os que trabalharam com IA (3 de 50) e levaram mais tempo, embora os autores alertem que os grupos não eram diretamente comparáveis. Também não mostra que as escolhas do agente estavam erradas; as duas opções eram defensáveis por construção. E os autores são claros quanto aos limites: a inclinação do agente foi deliberadamente reforçada, era uma única tarefa em um único campo com um único modelo, e o resultado de mudança de posição se apoia em 38 casos.

O que ele mostra é que uma aprovação pode ser sincera e ainda assim não ser independente. Os analistas acreditavam que decidiam. Na maioria das vezes, adotaram.

Nossa visão: aprovação precisa de um protocolo

O que segue é a posição da La Madre, um ponto de vista e não um achado. Em trabalho regulado, a segregação de funções existe porque a segunda pessoa deve trazer um julgamento que a primeira não trouxe. Sistemas de qualidade farmacêuticos chamam isso de verificação por segunda pessoa; bancos chamam de quatro olhos; auditores chamam de segregação de funções. Quando um agente preparou a análise, o segundo par de olhos enxerga pelo enquadramento do agente, e o controle enfraquece sem fazer barulho.

Fizemos um argumento parecido quando um estudo da IBM mostrou que human in the loop não é controle quando a pessoa não consegue contestar a IA. Este estudo acrescenta algo mais afiado: mesmo pessoas capazes, que conseguem contestar, muitas vezes não percebem que não estão contestando.

Quão independente é a etapa humana?

AssinaturaJulgamento independente

1. Aprova o que é mostradoO padrão mais comum
2. Revisa o raciocínio do agenteAinda dentro do enquadramento dele
3. Vê o melhor argumento de cada opçãoA sugestão de design da Anthropic
4. Registra uma visão antes de ver a do agenteBarato e raramente feito
5. Segunda análise às cegasOutra pessoa ou método, sem rascunho compartilhado

Cinco regras de design

1. Liste as decisões que exigem o julgamento próprio de uma pessoa. Os autores recomendam isso, e é por aí que se começa. Nem toda aprovação precisa de independência; um limite de dosagem, uma exceção de política de crédito ou um método estatístico em uma submissão precisam.
2. Pergunte antes de mostrar. Para essas decisões, o revisor registra uma visão, ou pelo menos os critérios, antes de ver a recomendação do agente. Custa alguns minutos.
3. Faça o agente defender os dois lados. Um agente que apresenta o caso mais forte para cada opção, como a Anthropic sugere, transforma uma inclinação em comparação. Mantenha curto; a sobrecarga é uma falha por si só.
4. Registre de onde vieram os argumentos. Se 77% repetem o raciocínio do agente e 15% admitem isso, o registro da decisão está errado. Guarde a saída do agente junto com a decisão, para que um auditor veja o que a pessoa viu.
5. Não deixe uma única família de modelos aprovar o próprio trabalho. As aprovações do GitHub vêm desligadas por padrão, podem ser limitadas a caminhos de arquivo e são descartadas por novos commits, controles que fazem sentido. A nova revisão Max roda vários agentes de fornecedores de modelo diferentes e os reconcilia, o que reduz erros correlacionados sem eliminá-los. Onde uma aprovação de IA conta, restrinja aos caminhos e tipos de mudança que você escolheu, e exija uma pessoa para mudanças escritas pela mesma família de modelos.

Nada disso argumenta contra agentes na análise. Argumenta a favor de saber qual parte da decisão ainda pertence a uma pessoa. Como dissemos ao descrever como a autonomia do agente deve ser conquistada por ação, controles pertencem à classe da ação. O julgamento humano também é um controle, e precisa da mesma especificidade.