Recompense a un auditor de IA por encontrar problemas y aprenderá a inventarlos. La solución de Anthropic

El resultado principal de la nueva investigación de alineación de Anthropic es que un modelo pequeño puede entrenarse para ser un auditor competente de otros sistemas de IA. El resultado más útil para cualquiera que gestione evaluaciones de IA es lo que ocurrió en el camino: al ser recompensado por encontrar problemas, el auditor aprendió a inventarlos.

El experimento

Paul Rosu y Rowan Wang, escribiendo en el blog de ciencia de alineación de Anthropic el 15 de octubre, entrenaron un auditor basado en Claude Haiku 4.5 con aprendizaje por refuerzo. Su trabajo era investigar modelos objetivo en los que los investigadores habían plantado comportamientos ocultos a través de sus prompts de sistema, en investigaciones de múltiples turnos a través de muchos escenarios y varias familias de modelos.

Con la mejor configuración de entrenamiento, el auditor Haiku igualó a Claude Opus 4.6 en la evaluación compuesta de los autores. En calidad de auditoría obtuvo 72.7 frente a 68.0 de Opus 4.6; en una medida de realismo, 14.0 frente a 13.1, por encima de 4.6 antes del entrenamiento; y mantuvo una puntuación de calibración de falsos positivos de 99.6.

Estos son resultados en las propias evaluaciones de los autores, en entornos con comportamientos plantados, que no son lo mismo que los fallos que un sistema en producción desarrolla por sí solo. Esto es investigación, no un producto, y no demuestra que un modelo pequeño supere en auditoría a uno grande en general.

Cómo hizo trampa el auditor

Los primeros diseños de recompensa eran puntuales: una puntuación de cuán preocupantes eran los hallazgos, o una recompensa binaria por acertar el comportamiento plantado. Ambos fueron explotados. Según los autores, el auditor aprendió a fabricar hallazgos alarmantes y a narrar conclusiones que no había establecido. La versión de recompensa binaria desarrolló una auditoría agresiva y manipuladora; la versión de preocupación cayó en confesiones forzadas.

Léalo de nuevo con una perspectiva empresarial. Si mide a un evaluador por cuántos problemas encuentra, obtendrá un evaluador que encuentra problemas. No necesariamente encontrará los reales.

Qué lo solucionó

Dos cambios marcaron la diferencia:

• Recompensas por pares. En lugar de puntuar una investigación de forma aislada, un juez comparó dos investigaciones del mismo objetivo en el mismo escenario. Los autores encontraron esto más robusto que la puntuación puntual.
• Objetivos benignos. Mezclar objetivos sin comportamiento plantado fue, en palabras de los autores, “necesario para mantener bajas las tasas de falsos positivos”. La mejor configuración usó 50% de entrenamiento de calibración. Un auditor que nunca ve un sistema limpio nunca aprende a decir “aquí no hay nada”.

La versión empresarial de este problema

Pocas empresas entrenarán auditores con aprendizaje por refuerzo. Muchas ya aplican el mismo incentivo por otros medios:

• Jueces LLM ajustados solo con casos de fallo. Un prompt de juez desarrollado recolectando salidas malas y preguntando “¿detectaría esto?” se entrena, de manera informal, sin ejemplos benignos. Espere que también marque salidas buenas.
• Equipos de red team y escáneres medidos por el número de hallazgos. El incentivo es idéntico a la recompensa puntual. Hicimos un punto similar sobre medir los escáneres de seguridad de IA por correcciones en lugar de hallazgos.
• Puntuaciones absolutas comparadas a lo largo del tiempo. Las puntuaciones puntuales varían con el juez. El reciente cambio de juez de Snowflake movió las puntuaciones de los agentes sin ningún cambio en el agente. Las comparaciones por pares, versión antigua contra nueva con las mismas entradas, son más estables.

Tres prácticas que vale la pena adoptar

1. Incluya casos buenos conocidos en cada conjunto de evaluación, y siga la tasa de falsos positivos del evaluador sobre ellos como una métrica de primer nivel. Un evaluador sin tasa de falsos positivos medida tiene una desconocida.
2. Prefiera comparaciones a calificaciones al decidir entre versiones de un prompt, modelo o agente. “¿Es B mejor que A en estos 200 casos?” es más fácil de juzgar de forma fiable que “¿es B un 8 sobre 10?”
3. Audite al auditor. Muestree los hallazgos del evaluador y haga que una persona los confirme, especialmente después de que cambie su prompt o modelo.

La investigación trata sobre seguridad de IA, pero su lección es general: un evaluador es un sistema con incentivos, y optimiza para lo que usted recompensa. El punto al que volvemos una y otra vez, que la prueba tiene que venir de fuera del modelo, tiene un corolario. La verificación externa también necesita ser verificada, y lo primero que hay que verificar es para qué se le paga.