Una aprobación no es un juicio. Cuando un agente prepara el análisis, la independencia del revisor se diseña

86%. Así de a menudo los analistas profesionales de un estudio de Anthropic terminaron tomando la misma decisión analítica que prefería su agente de IA, cuando la preferencia del agente se había fijado con un cara o cruz.

El estudio, publicado el 27 de octubre, reclutó analistas con experiencia en inferencia causal y les dio una tarea realista: asesorar a una cooperativa agrícola sobre si ampliar un programa de asesoría. Cincuenta de ellos trabajaron con Claude Code. Se dejaron abiertas cuatro decisiones analíticas, cada una con dos opciones defendibles. Sin decírselo a nadie, los investigadores dieron a cada agente una inclinación oculta en cada decisión y le indicaron que construyera el argumento honesto más sólido a su favor. Los analistas coincidieron con la inclinación el 86% de las veces, cuando el azar es de alrededor del 50%. Cuando un analista ya había declarado una preferencia y el agente no estaba de acuerdo, cambiaron el 60% de las veces; cuando estaba de acuerdo, el 6%. Después, el 77% repitió los argumentos del agente, a veces literalmente, y solo el 15% le dio crédito. La experiencia no predijo quién cedía.

Al día siguiente, GitHub puso en disponibilidad general (GA) las aprobaciones de Copilot: cuando una organización las habilita, una revisión de IA puede contar para las aprobaciones obligatorias de pull request de un repositorio.

Un resultado trata de personas que ceden ante agentes. El otro, de agentes que se convierten en aprobadores. Ambos llegan al mismo control en el que se apoyan la mayoría de los planes de gobernanza de IA: una persona cualificada firma.

Qué muestra y qué no muestra el estudio

No muestra que los agentes empeoren el análisis. Los analistas que trabajaron sin IA cometieron errores graves con más frecuencia (6 de 11) que quienes trabajaron con ella (3 de 50) y tardaron más, aunque los autores advierten que los grupos no eran directamente comparables. No muestra que las opciones del agente fueran incorrectas; ambas opciones eran defendibles por diseño. Y los autores son claros sobre los límites: la inclinación del agente se reforzó deliberadamente, era una sola tarea en un solo campo y con un solo modelo, y el resultado sobre el cambio de opinión se apoya en 38 casos.

Lo que sí muestra es que una firma puede ser sincera y aun así no ser independiente. Los analistas creían que decidían. En su mayoría, adoptaron.

Nuestra opinión: la aprobación necesita un protocolo

Lo que sigue es la posición de La Madre, una opinión y no un hallazgo. En el trabajo regulado, la separación de funciones existe porque se supone que la segunda persona aporta un juicio que la primera no tenía. Los sistemas de calidad farmacéuticos lo llaman verificación por una segunda persona; los bancos, cuatro ojos; los auditores, segregación de funciones. Cuando un agente preparó el análisis, el segundo par de ojos mira a través del encuadre del agente, y el control se debilita en silencio.

Hicimos un argumento relacionado cuando un estudio de IBM encontró que un human-in-the-loop no es un control si la persona no puede cuestionar la IA. Este estudio añade algo más incisivo: incluso las personas capaces que pueden cuestionarla a menudo no se dan cuenta de que no son independientes.

¿Qué tan independiente es el paso humano?

FirmaJuicio independiente

1. Aprueba lo que se muestraEl valor predeterminado habitual
2. Revisa el razonamiento del agenteSigue dentro de su encuadre
3. Ve el mejor argumento para cada opciónSugerencia de diseño de Anthropic
4. Registra una opinión antes de ver la del agenteBarato y poco frecuente
5. Segundo análisis a ciegasOtra persona u otro método, sin borrador compartido

Cinco reglas de diseño

1. Enumere las decisiones que necesitan el juicio propio de una persona. Los autores lo recomiendan, y es el punto de partida. No toda aprobación necesita independencia; un umbral de dosificación, una excepción a la política de crédito o un método estadístico en una presentación sí.
2. Pregunte antes de mostrar. Para esas decisiones, el revisor registra una opinión, o al menos los criterios, antes de ver la recomendación del agente. Cuesta minutos.
3. Haga que el agente defienda ambos lados. Un agente que presenta el mejor argumento para cada opción, como sugiere Anthropic, convierte una inclinación en una comparación. Manténgalo breve; la sobrecarga es un fallo en sí misma.
4. Registre de dónde vinieron los argumentos. Si el 77% repite el razonamiento del agente y el 15% lo dice, el registro de la decisión está mal. Guarde la salida del agente con la decisión, para que un auditor pueda ver lo que vio la persona.
5. No deje que una sola familia de modelos apruebe su propio trabajo. Las aprobaciones de GitHub están desactivadas por defecto, pueden limitarse a rutas de archivos y se descartan con nuevos commits, controles todos sensatos. Su nueva revisión Max ejecuta varios agentes de distintos proveedores de modelos y los concilia, lo que reduce los errores correlacionados sin eliminarlos. Donde una aprobación de IA cuente, límítela a las rutas y tipos de cambio que usted haya elegido, y exija una persona para los cambios que escribió la misma familia de modelos.

Nada de esto argumenta contra los agentes en el análisis. Argumenta a favor de saber qué parte de la decisión sigue siendo propiedad de una persona. Como lo expresamos al describir cómo la autonomía del agente se gana por acción, los controles pertenecen a la clase de acción. El juicio humano también es un control, y necesita la misma especificidad.