Minerva de NVIDIA mide el rendimiento de la fábrica de IA, no el tiempo activo de las GPU. Su clúster también
NVIDIA lanzó Minerva, una plataforma de AIOps que mapea GPU, red, almacenamiento y trabajos en un grafo para encontrar lo que frena las cargas de IA. La idea útil: medir trabajo útil, no ocupación.
Escuche este artículo · 5 min
Narración completa del artículo, generada con IA.
Un trabajo de entrenamiento que debería terminar en dos días tarda tres. Todos los paneles están en verde: las GPU están ocupadas, la red funciona, el almacenamiento responde. En algún punto, una GPU se calienta más que sus vecinas y reduce su rendimiento, o un disco se ralentiza bajo carga, y como el entrenamiento distribuido avanza a la velocidad de su participante más lento, todo el trabajo lo paga.
Ese es el problema para el que NVIDIA lanzó Minerva el 22 de octubre. Es una plataforma de AIOps que recoge telemetría de las GPU, la red, el almacenamiento, los planificadores y las propias cargas, y aplica modelos diseñados para ello con el fin de detectar problemas antes.
Un grafo para todo el clúster
La idea central de Minerva es un grafo de conocimiento dinámico que mapea la infraestructura, GPU, tarjetas de red, conmutadores y cables, junto con los trabajos que se ejecutan sobre ella. Con ese mapa, un operador puede rastrear un entrenamiento lento hasta el componente que lo afecta, según NVIDIA, incluso en una instalación con cientos de miles de GPU.
- Telemetría de GPU, red, almacenamiento, planificadores, trabajos
- Grafo de conocimiento de componentes y cargas
- Los modelos detectan anomalías y predicen fallos
- Alertas relacionadas agrupadas en un incidente
- Corrección recomendada, por asistente o API
- La aplica una persona, o la automatización
El operador eligeLa capa nueva
Analiza lo que NVIDIA describe como miles de millones de datos por hora con modelos supervisados y no supervisados, aprende el comportamiento normal, predice fallos incipientes y agrupa una avalancha de alertas en un único incidente con una causa raíz probable. Un asistente integrado responde en lenguaje natural sobre la salud del clúster, y Minerva puede conectarse a herramientas agénticas externas. Los equipos pueden mantener a una persona aplicando las correcciones o conectar las recomendaciones a la automatización a través de las API de infraestructura.
IREN, un operador de nube de IA, ya lo utiliza. NVIDIA cita a Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI y Tesla como empresas que planean desplegarlo, y a Dell, Lenovo y Supermicro como fabricantes que lo ofrecerán en sus carteras de fábrica de IA. Son planes, y las promesas de NVIDIA de más tiempo entre interrupciones y reparaciones más rápidas no están cuantificadas en el anuncio.
Rendimiento, no ocupación
La idea que merece la pena llevarse de Minerva, aunque nunca lo compre, es la métrica que NVIDIA pone en el centro: el rendimiento de la fábrica de IA, el trabajo útil que produce una infraestructura, medido en horas de GPU, goodput, tiempo activo del clúster y producción de tokens.
La mayoría de los informes empresariales sobre infraestructura de IA siguen midiendo la ocupación: cuánto tiempo estuvieron ocupadas las GPU. La ocupación es una señal débil. Una GPU atascada esperando a una vecina lenta está ocupada. Un trabajo que falla en la hora 40 y se reinicia desde el último checkpoint estuvo ocupado esas 40 horas. Un clúster puede informar de una ocupación alta y entregar la mitad del trabajo terminado que debería.
Hemos defendido que la inferencia debería calcularse por tarea completada, sobre las horas que se pagan, y que los próximos recortes de coste pueden venir de debajo del modelo, en la planificación y el servicio. El rendimiento es la versión de infraestructura de la misma disciplina: contar lo que terminó, no lo que se ejecutó.
¿Importa esto fuera de los hiperescaladores?
Más de lo que parece. Las empresas que compran infraestructura de IA privada, ya sea en racks dimensionados por carga de trabajo o en clústeres para cargas soberanas o reguladas, ya operan pequeñas fábricas de IA. Rara vez tienen los equipos de operación especializados de las grandes nubes de GPU. Una plataforma que correlaciona la telemetría de GPU, red y trabajos es justo la capacidad que les falta, y que Dell, Lenovo y Supermicro planeen ofrecer Minerva significa que puede llegar incluido con el hardware.
Dos precauciones para esos compradores. Primero, compruebe qué necesita ver Minerva: su valor depende de la telemetría de las GPU y la red de NVIDIA, y su visibilidad sobre almacenamiento o planificadores de terceros debe confirmarse en su entorno. Segundo, decida pronto qué puede cambiar por su cuenta. Una recomendación de retirar un nodo es inofensiva; una retirada automática en mitad de un proceso regulado es un cambio operativo y debe pasar por la misma aprobación que cualquier otro.
Preguntas para su próxima revisión de infraestructura
- ¿Qué parte de las horas de GPU que pagó el mes pasado produjo trabajo terminado?
- ¿Cuánto se tarda hoy en rastrear un trabajo lento hasta el componente que lo causa?
- ¿Qué pasos de corrección puede ejecutar la automatización sin una persona, y quién aprobó esa lista?
- Si el entrenamiento y la inferencia comparten clúster, ¿cuál cede cuando compiten, y está escrito?
Minerva es un producto para operadores de clústeres muy grandes. La métrica que hay detrás pertenece a cualquier empresa que tenga GPU.