Entre pensamientos, un agente de IA corre en CPU. El argumento de Vera es una advertencia de capacidad

Observe durante un minuto cómo trabaja un agente de programación. Piensa, luego busca en un repositorio, ejecuta una suite de pruebas, inicia un contenedor, consulta una base de datos, lee la salida y vuelve a pensar. Solo el pensamiento ocurre en una GPU. Todo lo que pasa entre esos momentos se ejecuta en procesadores convencionales.

Ese es el argumento que NVIDIA, precisamente, presentó este mes para su Vera CPU: a medida que los agentes se multiplican, el trabajo de CPU alrededor del modelo se convierte en un cuello de botella propio.

La afirmación y la evidencia

NVIDIA dice que los centros de datos construidos para IA están limitados por la energía, así que el procesador que coordina agentes debe maximizar el trabajo por vatio y, al mismo tiempo, atender a muchos agentes a la vez. Para Vera, NVIDIA afirma que logra 1,6 veces más agentes por vatio que la CPU x86 más rápida, y el doble de velocidad de agente que el procesador x86 más eficiente energéticamente.

Las cifras más interesantes vienen de los socios, y cada uno describe su propia carga de trabajo:

• Daytona, que ejecuta sandboxes para agentes, puso en marcha 1000 sandboxes en 10,8 segundos con Vera, frente a 88,4 segundos en x86.
• Modal informa de hasta el doble de rendimiento de sandboxes por núcleo, y la diferencia aumenta bajo carga intensa.
• DeepInfra midió hasta 2,2 veces la velocidad del mejor procesador x86 en orquestación de agentes para una carga de trabajo de producción.
• Perplexity observó que las tareas de programación agéntica se ejecutaban 1,5 veces más rápido y planea desplegar Vera en un próximo sistema de producción.
• ClickHouse dice que su binario estándar escaló casi linealmente hasta 176 núcleos sin ajustes específicos para Vera, y DuckLabs informa de cerca de 1,5 veces el rendimiento de una línea base Intel Xeon 6 en un benchmark analítico grande.

Son cifras de proveedores y socios, elegidas para presentar el producto de la mejor manera. Aun así son útiles, porque muestran qué cargas de trabajo consideran el cuello de botella quienes ejecutan agentes a escala: el arranque de sandboxes, la orquestación y las bases de datos que consultan los agentes.

Dónde se ejecuta realmente el trabajo de un agente

Acelerador

• Razonamiento y generación
• Embeddings

Lo que incluyen la mayoría de los presupuestos

CPU

• Arranque y desmontaje de sandboxes
• Ejecución de código y pruebas
• Búsqueda y recuperación
• Consultas a bases de datos
• Orquestación y tool calling

Lo que multiplican los agentes

Por qué importa aunque nunca compre Vera

Los planes de capacidad empresarial para IA suelen partir de los tokens: cuántas solicitudes, cuántos tokens cada una, qué modelo. Los agentes rompen esa costumbre. Una sola solicitud de un usuario a un agente puede iniciar un sandbox, ejecutar una compilación, llamar a cinco herramientas y consultar tres sistemas antes de que el modelo escriba una palabra de la respuesta.

Así que los sistemas que fallan primero bajo carga de agentes a menudo no son los servidores de inferencia. Son los runners de CI, el pool de sandboxes, las réplicas de lectura y el clúster de búsqueda, todos dimensionados para el ritmo humano. Hemos sostenido que los primeros sistemas que fallan con la adopción de agentes son los dimensionados para personas, y la lista de socios de NVIDIA se lee como una lista de esos sistemas.

También cambia el panorama de costos. Minerva, de NVIDIA, mide el rendimiento de la fábrica de IA del lado del acelerador. El lado de la CPU necesita su propia métrica de rendimiento: tareas de agente completadas por servidor, por vatio o por dólar, no la utilización de CPU.

Qué medir antes de la próxima expansión

Para los equipos que ejecutan agentes en infraestructura privada o capacidad reservada en la nube:

1. Perfile una tarea de agente de principio a fin. Registre cuánto tiempo pasa esperando al modelo, a las herramientas, a los sandboxes y a las bases de datos. El reparto rara vez es el que supone el presupuesto.
2. Haga pruebas de carga del pool de sandboxes. El tiempo de arranque con concurrencia, no la velocidad de un solo sandbox, decide cuántos agentes pueden ejecutarse a la vez.
3. Separe el tráfico de agentes en las bases de datos compartidas. Los agentes leen más y más rápido que las personas. Una réplica o una cuota para las consultas de agentes protege los sistemas que las personas siguen usando.
4. Calcule el precio por tarea completada. GPUs, CPUs, almacenamiento y red en conjunto, dividido entre las tareas que terminaron correctamente.

Que Vera gane esas comparaciones en su entorno es una cuestión de compras. Que la CPU pertenezca al modelo de costos de los agentes ya no es una cuestión.