Resposta tipada ainda pode errar. Snowflake e Cloudflare criam modelos rápidos para decisões e extração

Um modelo de linguagem de uso geral que roteia um ticket de suporte para o lugar errado normalmente falha de um jeito que você vê: responde com uma frase quando você pediu um rótulo, inventa uma categoria ou envolve a resposta em texto que o seu parser rejeita. Um modelo feito para retornar uma decisão tipada falha de outro jeito. Ele retorna uma categoria válida, com uma probabilidade anexada, e a categoria está errada.

É esse o trade-off que dois anúncios de 19 de outubro tornam explícito. Os dois merecem ser levados a sério, e ambos deslocam o trabalho de confiar na saída da IA para um lugar que muitos times ainda não construíram.

Dois modelos que não escrevem

O Snowflake Decision Fast é uma variante de menor latência do modelo Snowflake Decision introduzido duas semanas antes para classificação, pontuação, filtragem e roteamento. Ele retorna escolhas categóricas com uma probabilidade por opção, pontuações numéricas e decisões de sim ou não, em vez de texto livre. Está em private preview, disponível sob solicitação por meio do time de conta da Snowflake, e acessível em SQL por meio de AI_COMPLETE ou a partir de aplicações e agentes por uma API REST no Cortex AI Gateway. A Snowflake diz que as idas e voltas ao endpoint em sua demonstração ao vivo ficaram consistentemente abaixo de 300 milissegundos, sem descrever como isso foi medido. O preço não é publicado.

O Cloudflare Clairic, em preview no Workers AI, faz pela extração o que os modelos de decisão fazem pelas escolhas. Ele responde em uma única passada, sem gerar raciocínio nem tokens de saída, e cobra apenas pelos tokens de entrada. Retorna trechos extraídos com offsets de caracteres e um score de confiança, valores calculados como um total a partir de um preço mais imposto, estimativas como mediana com intervalo de 80% e previsões simples. Quando um valor está ausente, retorna null, com a probabilidade de ser null e uma melhor estimativa. Em um dos exemplos da Cloudflare, um pipeline de sinistros de danos rodou em 19,3 segundos contra 61,7 segundos de um pipeline totalmente baseado em LLM, a US$ 6.032 contra US$ 11.740 por milhão de sinistros. Pesos abertos estão planejados.

Cobrimos a primeira onda dessa ideia quando a Cloudflare argumentou que um agente não deveria perguntar a um modelo de fronteira a cada pequena questão, e quando a OpenAI começou a precificar a camada de decisão separadamente. O novo passo é a amplitude: o mesmo desenho agora cobre decisões delimitadas dentro de um data warehouse e extração estruturada na borda da rede.

O que as saídas tipadas realmente corrigem

Elas eliminam uma classe de falha que consome uma fatia surpreendente do tempo de engenharia em produção: saída malformada. Sem novas tentativas para JSON inválido, sem cláusulas de prompt pedindo que o modelo responda com uma palavra, sem categoria que não existe na etapa seguinte. Elas também tornam a latência previsível, o que importa quando uma decisão está dentro de um pagamento, de uma checagem de fraude ou da seleção de ferramentas de um agente.

E fazem o custo de classificação e extração em alto volume parecer infraestrutura, não uma conta de chat.

O que elas deixam para você construir

Correção. Os autores da Cloudflare dizem sem rodeios: as saídas são bem formadas, mas não necessariamente corretas. Uma categoria válida é uma garantia de formato, não de acurácia. Cada tipo de decisão ainda precisa de um conjunto de avaliação extraído dos seus próprios casos, com taxas de erro por classe.

Calibração. Os dois produtos expõem um número de confiança e ambos convidam você a agir sobre ele. A Snowflake descreve suas probabilidades como um sinal sobre o qual você pode aplicar um limite e cita 0,99 como altamente confiável; não faz nenhuma afirmação sobre o quão bem essas probabilidades correspondem a resultados reais. A Cloudflare diz que os intervalos do Clairic são projetados para serem calibrados e podem ficar estreitos demais em dados desconhecidos. Um limite só é um controle quando alguém verificou, nos seus dados, que “0,95” acerta cerca de 95% das vezes. Até lá, é um número com vírgula.

Aritmética. O Clairic calcula dentro da única passada do modelo. A Cloudflare relata que cálculos de uma e duas etapas parecem confiáveis, enquanto cálculos dependentes mais longos e agregação em muitas linhas são fracos, e recomenda deixar o código fazer cálculos mais longos. Esse conselho vale em geral: extraia com o modelo, calcule com código e nunca deixe uma estimativa do modelo ocupar o lugar de um cálculo determinístico quando ele é possível.

Roteamento dos casos incertos. O verdadeiro objeto de design é a política que envia decisões de baixa confiança, valores null e intervalos largos para uma pessoa ou para um modelo maior. É onde os erros de um modelo barato são capturados ou escapam, que é o custo que mais importa, como argumentamos em precificar modelos pelo lugar onde os erros caem.

A comparação que vale fazer antes de adotar qualquer um dos produtos não é custo por chamada. É custo por decisão correta, com a calibração medida, em alguns milhares dos seus próprios registros.