O melhor assistente visual de IA concluiu 53% das tarefas no teste da Salesforce. A velocidade pesou

Um tecnico aponta a camera do celular para um roteador e pergunta ao assistente de IA qual cabo vai onde. O assistente ve a cena, da a instrucao certa, e o tecnico ja tinha conectado o cabo na porta errada dois segundos antes.

Em um benchmark estatico, essa resposta conta como correta. Em campo, ela falhou. A Salesforce AI Research construiu um teste para exatamente essa lacuna, e o resultado e um alerta para quem planeja colocar assistentes visuais na frente de trabalhadores da linha de frente.

Um teste em que o usuario reage

Interactive Visual Gym e um framework de simulacao para assistentes que acompanham o video do usuario e o guiam por voz. Ele recria workflows fisicos, como preparar comida ou configurar um dispositivo, e coloca o assistente ao lado de um usuario simulado. Quando o assistente fala, o usuario simulado muda o que faz, e o estado do ambiente simulado muda junto.

O harness tambem cria problemas de proposito: passos em falso, mudanca de plano no meio do caminho, perguntas de esclarecimento e checagens sobre se o assistente lembra dos passos anteriores. Os usuarios simulados variam em quatro tracos: conhecimento do dominio, confianca em IA, velocidade de trabalho e tolerancia a interrupcoes.

A Salesforce avaliou 14 assistentes visuais lideres em 315 cenarios, em tres ambientes. O mais forte, Gemini 4 Argon, concluiu 53,4% das tarefas dentro do limite de tempo, na media dos tres ambientes. A Salesforce relata fragilidades na fundamentacao factual e em dar instrucoes que uma pessoa consiga executar, e diz que os modelos lideres muitas vezes foram lentos demais para evitar erros depois de contada a latencia. Modelos open-weight ficaram em geral atras, e alguns ficaram menos precisos conforme a tarefa avancava.

As pontuacoes automaticas concordaram com as preferencias dos participantes humanos em quase 80% das vezes, o que e razoavel para um simulador, mas nao substitui testes em campo.

Por que o teste em loop fechado importa

A maioria dos benchmarks multimodais mostra uma imagem ao modelo e avalia a resposta. Eles separam a resposta do seu efeito, entao nao conseguem dizer se a orientacao teria evitado o erro. O argumento da Salesforce e que, para um assistente que guia trabalho fisico, acertar inclui o tempo. Uma instrucao certa depois do erro e uma instrucao errada.

E a mesma licao que os times enterprise aprenderam com agentes de voz, que descrevemos como sistemas em tempo real, e nao chatbots com microfone. A orientacao visual acrescenta uma camera ao loop e torna o timing mais dificil, porque o assistente precisa perceber o momento de falar, nao apenas responder quando e perguntado.

A pesquisa tambem mostra um caminho adiante. Treinar um modelo aberto pequeno, de 4 bilhoes de parametros, no simulador elevou seu sucesso em tarefas que o modelo nao tinha visto de 33,3% para 42,2%. Isso sugere que a simulacao especifica por tarefa pode fechar parte da lacuna, o que importa para empresas que preferem rodar um modelo pequeno no dispositivo a transmitir video para a nuvem.

Para field service e IA de linha de frente

Se o seu roadmap inclui IA que observa e guia tecnicos, enfermeiros, equipes de armazem ou instaladores:

• Meca a conclusao da tarefa, nao a qualidade da resposta. A pergunta e se a pessoa terminou corretamente, a tempo.
• Meca a latencia do evento ate a instrucao. Um assistente que esta certo mas chega tarde deve falhar no teste.
• Teste com usuarios dificeis. Trabalhadores rapidos, ceticos e que mudam de plano expoem falhas que um testador cooperativo nunca vai expor.
• Mantenha o procedimento como autoridade. Onde o risco e de seguranca fisica, o assistente deve apontar para o procedimento aprovado, nao improvisar um.

Uma taxa de sucesso de 53% para o melhor modelo nao e motivo para esperar indefinidamente. E motivo para comecar por tarefas em que uma instrucao perdida ou atrasada sai barato, e avaliar do jeito que a Salesforce fez antes de expandir.