El mejor asistente visual de IA completó el 53% de las tareas guiadas: la velocidad también falló

Un técnico apunta con la cámara del móvil a un router y le pregunta a un asistente de IA qué cable va dónde. El asistente ve la escena, da la instrucción correcta, y el técnico ya ha enchufado el cable en el puerto equivocado dos segundos antes.

En un benchmark estático, esa respuesta puntúa como correcta. En campo, falló. Salesforce AI Research construyó una prueba para exactamente esa brecha, y los resultados invitan a la prudencia a quien planee poner asistentes visuales delante de trabajadores de primera línea.

Una prueba en la que el usuario reacciona

Interactive Visual Gym es un framework de simulación para asistentes que observan la señal de vídeo del usuario y lo guían por voz. Recrea flujos de trabajo físicos, como preparar comida o configurar un dispositivo, y empareja al asistente con un usuario simulado. Cuando el asistente habla, el usuario simulado cambia lo que hace, y el estado del entorno simulado cambia con él.

El harness también genera problemas a propósito: pasos en falso, un cambio de plan a mitad de camino, preguntas de aclaración y comprobaciones de si el asistente recuerda pasos anteriores. Los usuarios simulados varían en cuatro rasgos: experiencia en el dominio, confianza en la IA, velocidad de trabajo y tolerancia a las interrupciones.

Salesforce evaluó 14 asistentes visuales líderes en 315 escenarios y tres entornos. El más fuerte, Gemini 4 Argon, completó el 53,4% de las tareas dentro del límite de tiempo, promediado en los tres entornos. Salesforce informa de debilidades en el anclaje factual y a la hora de dar instrucciones que una persona pueda ejecutar, y dice que los modelos líderes a menudo eran demasiado lentos para evitar errores una vez contada la latencia. Los modelos de pesos abiertos quedaron por lo general por detrás, y algunos perdían precisión a medida que avanzaba la tarea.

Las puntuaciones automáticas coincidieron con las preferencias de los participantes humanos casi el 80% de las veces, lo que es razonable para un simulador, pero no sustituye a las pruebas de campo.

Por qué importan las pruebas en bucle cerrado

La mayoría de los benchmarks multimodales muestran una imagen a un modelo y califican la respuesta. Separan la respuesta de su efecto, así que no pueden decir si la guía habría evitado el error. El argumento de Salesforce es que, para un asistente que guía trabajo físico, la corrección incluye el momento. Una instrucción correcta después del error es una instrucción equivocada.

Es la misma lección que los equipos enterprise aprendieron con los agentes de voz, que describimos como sistemas en tiempo real y no chatbots con micrófono. La guía visual añade una cámara al bucle y hace más difícil el momento, porque el asistente tiene que notar cuándo hablar, no solo responder cuando se le pregunta.

La investigación también muestra un camino. Entrenar en el simulador un modelo abierto pequeño de 4.000 millones de parámetros elevó su éxito en tareas no vistas del 33,3% al 42,2%. Eso sugiere que la simulación específica por tarea puede cerrar parte de la brecha, algo que importa a las empresas que prefieren ejecutar un modelo pequeño en el dispositivo antes que transmitir vídeo a la nube.

Para el servicio de campo y la IA de primera línea

Si su roadmap incluye IA que observa y guía a técnicos, personal de enfermería, personal de almacén o instaladores:

• Mida la finalización de la tarea, no la calidad de la respuesta. La pregunta es si la persona terminó correctamente, y a tiempo.
• Mida la latencia del evento a la instrucción. Un asistente que acierta pero llega tarde debería suspender la prueba.
• Pruebe con usuarios difíciles. Los trabajadores rápidos, los escépticos y los que cambian de plan exponen fallos que un probador cooperativo nunca mostrará.
• Mantenga el procedimiento como autoridad. Donde hay riesgo para la seguridad física, el asistente debería remitir al procedimiento aprobado, no improvisar uno.

Un 53% de éxito del mejor modelo no es razón para esperar indefinidamente. Es razón para empezar por tareas en las que una instrucción perdida o tardía sale barata, y evaluar como lo hizo Salesforce antes de ampliar.