El Model Spec de OpenAI pide a GPT un alcance de autonomía acordado. Alguien de su empresa debe escribirlo
El Model Spec del 29 de octubre fija cinco valores y pide a los agentes actuar dentro de un alcance con subobjetivos, efectos secundarios y pausas. Es un objetivo de entrenamiento, no un control.
Escuche este artículo · 4 min
Narración completa del artículo, generada con IA.
¿Qué debe hacer un agente cuando una instrucción no cubre la situación que tiene delante? Seguir la instrucción al pie de la letra da una mala respuesta en los dos extremos: detenerse y preguntarlo todo, o rellenar el hueco con lo que parezca plausible. La versión actualizada del Model Spec de OpenAI, el documento público que describe cómo deben comportarse sus modelos, fechado el 29 de octubre, dedica buena parte de su extensión a ese hueco.
La nueva versión se organiza en torno a cinco valores: ser fiel a la intención humana, minimizar el daño, ser honesto y transparente, facilitar la agencia humana y actuar con cuidado. OpenAI dice que guían dos tensiones en particular: los intereses individuales frente a los colectivos, y las instrucciones inmediatas frente a los objetivos de más largo plazo.
La cláusula que los equipos empresariales deberían leer
Hay un principio que se lee casi como un requisito para las plataformas de agentes. Bajo “Act within an agreed-upon scope of autonomy”, el Spec acepta que las tareas de varios pasos, como coordinar el despliegue de un software, exigen que el modelo actúe sin confirmar cada paso. Para evitar sorpresas costosas, exige que la autonomía esté acotada por un alcance compartido entre el modelo y el usuario. Ese alcance define:
- qué subobjetivos puede perseguir el modelo;
- qué efectos secundarios son aceptables, como el tiempo o el dinero gastados, o los datos y el acceso necesarios, y cómo sopesarlos;
- cuándo debe detenerse el modelo a pedir una aclaración o una aprobación.
El Spec añade que el alcance puede estar incorporado en el diseño del producto. En un despliegue empresarial, eso significa que lo construye usted.
Otros dos principios importan para los agentes con herramientas. “Ignore untrusted data by default” dice que las salidas de herramientas, los documentos y demás contenido solo llevan la autoridad que les delega una instrucción aplicable, que es la respuesta del lado del modelo a la inyección de prompt. Y “Support human oversight and correction” pide al modelo que saque a la superficie, y no ignore, la evidencia de que la supervisión puede estar fallando.
Los valores en el modelo, los controles alrededor
El Spec es una política de comportamiento y un objetivo de entrenamiento. Describe lo que OpenAI quiere que hagan sus modelos; no es una garantía de que todos los modelos desplegados lo hagan, ni es un control contractual. El ejercicio útil es emparejar cada principio con el control que lo hace cumplir con independencia de cómo se comporte el modelo.
| Qué se le pide al modelo | Qué debe imponer el despliegue | |
|---|---|---|
| Alcance de autonomía | Mantenerse dentro de los subobjetivos y los efectos secundarios acordados; detenerse cuando toca | Permisos de herramientas, límites de gasto y puertas de aprobación por clase de acción |
| Ignorar datos no confiables | Tratar la salida de herramientas y los documentos como datos, no como instrucciones | Herramientas de mínimo privilegio y contención, para que una instrucción inyectada tenga poco a lo que llegar |
| Apoyar la supervisión | Reportar las señales de que la supervisión está fallando | Logs y alertas que un revisor realmente lea |
| Cadena de mando | Ponderar las instrucciones del desarrollador y del usuario según su autoridad | Prompts de sistema bajo control de cambios; identidad del usuario verificada por la plataforma |
La columna de la derecha no es nueva. Sostuvimos que los guardrails de prompt no son una frontera de seguridad y que la autonomía debe ganarse acción por acción, no configurarse. Lo que añade el Spec es un vocabulario compartido. “Alcance de autonomía” es un buen nombre para el artefacto que a las empresas les faltaba.
Ponga el alcance por escrito
Si el modelo se entrena para respetar un alcance, ese alcance debería existir en algún sitio que no sea la cabeza de un desarrollador. Para cada agente en producción, un documento breve debería indicar sus subobjetivos permitidos, los efectos secundarios que puede causar y sus límites, los puntos en los que debe parar y preguntar, y quién aprobó todo eso. La plataforma debería imponer la parte dura; el entrenamiento del modelo debería hacer más fiables las partes blandas.
Dos advertencias. Primera: un modelo que se detiene con más criterio también facilita que los revisores aprueben por reflejo, que es el riesgo que describimos en una aprobación no es un juicio. Segunda: el Spec es de OpenAI; los agentes construidos sobre otros modelos siguen otras políticas. Un documento de alcance que vive en la empresa, y no en el texto de un proveedor, sirve para todos ellos.
Vale la pena leer el Model Spec completo. Es la declaración pública más clara de lo que un laboratorio de frontera quiere que sean sus agentes. No es una declaración de lo que sus agentes tienen permitido hacer. Esa parte la sigue escribiendo usted.