A nota do agente pode mudar da noite para o dia sem que ele mude. A troca de juiz da Snowflake mostra por quê

Imagine um dashboard que acompanha, semana a semana, a correção das respostas de um agente. Na quarta-feira a linha se mexe. Ninguém publicou mudança de prompt, o modelo por trás do agente é o mesmo, os dados não mudaram. Quem mudou foi a régua.

É a situação que a Snowflake descreve numa mudança pendente nas avaliações de Cortex Agent e Cortex Analyst. O modelo juiz por trás das métricas originais, o Claude 4 Sonnet, “chega ao fim de vida em 14 de outubro de 2026”. Por isso a Snowflake espera trocar os padrões a partir de 13 de outubro, com a ressalva de costume de que as datas podem mudar.

O que muda, e para quem

A mudança vale para métricas que deixam a versão ou o modelo juiz sem definição ou em auto:

• Métricas de sistema (correção da resposta, consistência lógica, precisão na escolha de ferramentas e precisão na execução de ferramentas para agentes, e correção de SQL para o Analyst) passam da versão de métrica v1 para a v3.
• Métricas customizadas passam de claude-4-sonnet para claude-sonnet-4-6 como juiz, com openai-gpt-5.4 como alternativa se o modelo preferido não estiver liberado ou disponível para a conta.

A Snowflake é explícita sobre a consequência: “Notas de versões diferentes de métrica não são diretamente comparáveis.” As notas baseadas em juiz podem se deslocar, e o custo das avaliações pode mudar, porque cada modelo juiz tem uma taxa de créditos diferente. Uma métrica fica de fora: a precisão na escolha de ferramentas não usa modelo juiz.

Configurações fixadas não se mexem. Mas fixar no juiz que está sendo aposentado não é porto seguro: “Métricas fixadas em v1 ou claude-4-sonnet param de funcionar no fim de vida.” Contas que não tinham usado a v1 antes de 12 de agosto, quando ela entrou em estado legado, já não conseguiam rodá-la.

O que acontece com cada configuração

QuebraVocê decide

1. Fixada em v1Para de funcionar no fim de vida
2. Sem definição ou autoPassa à v3 e ao novo juiz sem aviso
3. Fixada em v2Estável até você decidir mudar
4. Fixada em v3Novo padrão, com limites recalibrados

A pilha de avaliação é uma dependência, não uma constante

A maioria dos times versiona o agente: prompt, modelo, ferramentas, configuração de busca. Bem menos versionam o que dá nota ao agente. Só que uma métrica de LLM como juiz tem o próprio modelo, o próprio prompt e a própria definição de resposta boa, e qualquer um deles pode mudar por baixo de você. Quando muda, três coisas quebram em silêncio:

• Linhas de tendência. Um gráfico de qualidade que atravessa a troca compara duas medições diferentes. Qualquer melhora ou piora nessa data fica impossível de interpretar.
• Travas. Uma verificação no CI/CD que bloqueia um release abaixo de uma nota pode começar a barrar releases bons ou a deixar passar ruins, porque o limite foi calibrado com o juiz antigo.
• Comparações. Resultados de dois times, ou de duas plataformas, só são comparáveis se os dois usaram o mesmo juiz e a mesma versão de métrica, o problema que levantamos quando a Collibra passou a mostrar métricas de agentes de quatro plataformas num só dashboard.

É o lado da avaliação de um padrão que descrevemos em a aposentadoria de modelos é a nova depreciação de API: quando um modelo é aposentado, o comportamento muda mesmo que nenhum código mude. Aqui, o modelo aposentado é quem dá a nota.

O que a Snowflake recomenda, e o que acrescentar

Os passos de preparação da Snowflake fazem sentido: testar as métricas de sistema com version: "v3" e recalibrar os limites em dashboards, alertas e CI/CD; fixar uma versão de métrica (por exemplo v2) ou um modelo juiz customizado se quiser controlar o momento da troca; e confirmar que os novos modelos juízes estão liberados para a conta e para o papel que roda as avaliações, e acessíveis pela sua configuração de inferência entre regiões. Os novos juízes têm janelas de contexto de cerca de um milhão de tokens, o que, segundo a Snowflake, reduz falhas em traces longos de agentes.

Para além dessa mudança específica, vale adotar a prática geral em qualquer plataforma:

1. Fixe explicitamente as configurações de avaliação e grave a versão da métrica e o modelo juiz junto com cada nota armazenada.
2. Rode o antigo e o novo lado a lado num conjunto de avaliação fixo antes de trocar, e registre a diferença entre eles.
3. Marque a troca em todos os gráficos, para ninguém ler mudança de medição como mudança de qualidade.
4. Recalibre contra pessoas. Um juiz novo deve ser conferido com exemplos rotulados por humanos, o passo de calibração que, como defendemos, faz da avaliação a superfície de controle e não enfeite.

Se a nota do seu agente se mexer nesta semana, confira o juiz antes de conferir o agente.