Cinco decisões que o modelo de um agente de IA nunca deve tomar. Deixe o resto com ele
Taxbit, Okta, AWS e uma arquitetura de referência da Microsoft convergem: o modelo propõe, sistemas determinísticos decidem identidade, limites, valores, ordem e registro.
Ouça este artigo · 4 min
Narração completa do artigo, gerada por IA.
Revisões de design de agentes de IA costumam discutir a coisa errada. Os times debatem qual modelo é preciso o suficiente, como se a precisão fosse o controle. Nos designs de produção publicados nas últimas semanas, precisão não é o que mantém o agente seguro. O que o mantém seguro é uma lista curta de decisões que o modelo nunca tem permissão de tomar.
Essa lista está convergindo. Aqui está a nossa versão dela, e é uma visão, não um fato: cinco decisões que pertencem a sistemas determinísticos, com o modelo livre para fazer todo o resto.
As cinco
| Decidido por | Exemplo de designs de produção | |
|---|---|---|
| 1. De quem é a autoridade usada | A sessão autenticada, vinculada no código | A Taxbit vincula a identidade às ferramentas antes de o modelo rodar |
| 2. Se uma saída é boa o suficiente para agir | Uma regra com um limite | O padrão da Microsoft: uma regra decide se um diagnóstico é específico o suficiente para contratar |
| 3. Quanto | Limites e aprovações no sistema de registro | Pagamentos apenas por limites aprovados e um adaptador financeiro |
| 4. Em que ordem | Um workflow definido | O Step Functions executa as etapas; o agente escolhe o momento |
| 5. O que é o registro | O sistema que executa, com referências | Evidências ligadas por IDs de item de trabalho e de correlação |
1. De quem é a autoridade que ele usa
O modelo pode decidir abrir um chamado. Não deve decidir a qual conta o chamado pertence. O assistente em produção da Taxbit vincula a identidade do usuário a cada ferramenta a partir do serviço que faz a chamada, então não há parâmetro que o modelo possa preencher com o ID de outra pessoa. A Okta e a AWS vão além entre aplicações: cada token nomeia tanto o usuário quanto o agente, e só um administrador decide qual agente pode agir por quem.
Pergunta de revisão: algum schema de ferramenta permite que o modelo forneça um identificador de usuário, tenant ou conta?
2. Se a própria saída é boa o suficiente
Uma arquitetura de referência da Microsoft publicada em 7 de novembro coloca isso sem rodeios: a confiança do modelo não é uma probabilidade calibrada e não é autorização de negócio. No exemplo de manutenção predial, uma regra, não o modelo, decide se um diagnóstico de reparo é específico o suficiente para contratar um prestador.
Pergunta de revisão: onde o agente age automaticamente, qual checagem determinística decide que a entrada está completa o suficiente, e ela falha fechada?
3. Quanto
Valores são onde erros ficam caros. Na mesma arquitetura, pagamentos passam apenas por limites aprovados, aprovações e um adaptador para o sistema financeiro; o modelo nunca autoriza um pagamento. O modelo pode propor um reembolso de determinado valor. O limite pertence ao sistema que é dono do dinheiro.
Pergunta de revisão: para cada ação com uma quantidade, onde o máximo é aplicado, e o modelo pode vê-lo ou alterá-lo?
4. Em que ordem
Procedimentos têm uma ordem por razões que alguém um dia precisou defender: elegibilidade antes da aprovação, aprovação antes do pagamento. Mostramos como a AWS permite que agentes iniciem workflows do Step Functions enquanto o workflow mantém as etapas. O agente escolhe quando; o workflow decide o que vem depois do quê.
Pergunta de revisão: algum procedimento regulado ou aprovado está sendo remontado pelo modelo a partir de chamadas individuais de API?
5. O que é o registro
Quando algo dá errado, o registro precisa vir do sistema que executou a ação, não do relato do modelo sobre ela. O design da Microsoft liga evidências por meio de referências de item de trabalho e IDs de correlação em vez de copiar prompts e fotos para os logs. É o princípio que chamamos de prova de fora do modelo.
Pergunta de revisão: se um auditor perguntar por que uma ação aconteceu, você consegue responder sem ler a conversa?
O que o modelo mantém
Não se trata de defender agentes fracos. Todo o resto fica com o modelo: entender o pedido, escolher qual ferramenta e qual workflow, reunir evidências, redigir, explicar e propor uma ação com suas razões. É a maior parte do valor.
O padrão refina uma tese que sustentamos desde outubro: o raciocínio está se tornando portátil, a autoridade para efetivar não está. O que as últimas semanas acrescentam é um limite mais nítido. Autoridade não é uma decisão, mas cinco, e cada uma tem um dono natural fora do modelo. Uma revisão de design que checa essas cinco pega mais risco real do que uma que compara pontuações de benchmark.