O Rerank 5 da Cohere transforma relevância em probabilidade. Assim o agente sabe quando não achou nada

Quase todo pipeline de busca em produção tem um número que todo mundo trata como significativo e ninguém conferiu: o score de relevância do reranker. Um documento volta com 0,82, outro com 0,41, e em algum lugar um corte, muitas vezes 0,5 porque parece razoável, decide quais o modelo de linguagem vai ler.

Até agora, esse número servia sobretudo para ordenar. Um 0,8 de um modelo não significava o mesmo que um 0,8 de outro, nem da versão seguinte do mesmo modelo. Os times ajustavam o corte na mão e reajustavam a cada atualização, quando lembravam.

O Rerank 5 da Cohere, em disponibilidade geral desde 21 de outubro, foi construído para consertar esse número. A promessa é específica: um score de 0,7 significa 70% de chance de o documento ser útil.

O que foi lançado

Dois modelos, o Rerank 5 Pro, para qualidade, e o Rerank 5 Fast, para volume, disponíveis na API da Cohere, no Model Vault single-tenant, no Microsoft Foundry, no Amazon SageMaker e na plataforma North, com implantações privadas em VPC ou on-premises combinadas com a Cohere. O preço na API é de US$ 0,05 por milhão de tokens no Pro e US$ 0,02 no Fast. Os dois leem até 32 mil tokens, cobrem mais de 100 idiomas e lidam com JSON e tabelas. Como o reranker lê o texto bruto na hora da consulta, a atualização não exige reindexar nem gerar embeddings de novo. A Cohere diz que o Pro fica em primeiro lugar em 14 dos 19 idiomas não ingleses da sua bateria interna e cita ganhos em espanhol, francês, alemão, árabe e coreano, mas não destaca o português; um time brasileiro deve testá-lo nos próprios documentos em português antes de confiar no corte.

Duas capacidades são novas.

Scores de relevância calibrados. A Cohere comparou os scores com dois conjuntos de julgamentos humanos que não entraram no treino do modelo: um painel cego de avaliadores e os avaliadores do TREC Deep Learning, do NIST. Ela relata um erro de calibração esperado de cerca de 0,06 e diz que os rerankers concorrentes testados tiveram quase quatro vezes esse erro, ou mais. No Pro, “mais provável útil do que não” fica em 0,50; no Fast, em 0,45; e o corte padrão do Pro fica entre 0,47 e 0,53 nos benchmarks que a Cohere rodou.

Context Focus, desligado por padrão, devolve os trechos mais relevantes dentro de cada documento como intervalos de caracteres com score, na mesma chamada. Mande só esses trechos para o modelo e o prompt encolhe. Em 30 bases de perguntas e respostas, a Cohere diz que remover metade do texto recuperado manteve 96% da qualidade da resposta, e remover três quartos manteve 87%.

O recurso de verdade é o resultado vazio

O benefício óbvio é custo. No teste da Cohere com um agente de busca, somar o Rerank 5 Pro à busca por palavra-chave levou a acurácia de 46% para 49%; ligar o Context Focus cortou os tokens por tarefa em 19% na configuração padrão e em 34% numa mais rigorosa, enquanto a acurácia subiu para 57% e 58%. Menos tokens e respostas melhores é uma combinação rara, e merece teste.

O benefício mais importante é mais discreto. Quando um score significa uma probabilidade, um corte pode significar uma política. Em vez de sempre mandar os cinco primeiros resultados para o modelo, a aplicação manda tudo o que estiver acima da linha, que pode ser doze documentos para uma pergunta ampla e nenhum para uma pergunta que a base não sabe responder.

“Nenhum” é o resultado que importa numa empresa. Um agente que não recupera nada relevante e diz isso, ou reescreve a consulta, se comporta de forma muito diferente de um que responde com confiança a partir do que por acaso ficou em primeiro lugar. A nossa leitura é que muitas respostas erradas em RAG enterprise não são o modelo inventando fatos do nada; são o modelo fazendo o melhor que pode com os documentos errados. Um corte calibrado dá ao sistema um jeito fundamentado de perceber que está com os documentos errados.

Leia os números com três ressalvas

São resultados do fornecedor. Os benchmarks de ranking usam o RCP-nDCG@10, uma métrica que a própria Cohere criou para lidar com julgamentos de relevância incompletos. Olhamos para ela quando a Cohere a publicou, no nosso texto sobre medir a busca como um sistema à parte. O método é razoável; ainda é a Cohere avaliando a Cohere, e os resultados de redução de contexto foram pontuados por um LLM juiz.

Útil não é correto. Um score calibrado estima a chance de um avaliador considerar o documento útil para a consulta. Não diz nada sobre se o documento está atualizado, se aquele usuário tem permissão para vê-lo ou se é verdadeiro. Permissões e atualidade continuam tendo de ser garantidas em outro ponto do pipeline.

A compressão pode tirar a ressalva. O Context Focus mantém os trechos mais parecidos com a pergunta. Em conteúdo regulado, a frase que importa costuma ser a ressalva três parágrafos adiante: a exclusão numa apólice, a contraindicação numa bula, a exceção num contrato. Teste as configurações mais agressivas em documentos cuja resposta depende de uma exceção antes de usá-las onde isso conta.

O que mudar num pipeline de RAG

1. Troque o top-k fixo por um corte em scores calibrados, e registre quantos documentos passam em cada consulta. Uma mudança brusca nessa distribuição é um alerta precoce.
2. Desenhe explicitamente o caminho do resultado vazio: reescrita da consulta, uma pergunta de esclarecimento ou um honesto “não encontrei isso”, e meça com que frequência cada um acontece.
3. Trate o corte como configuração sob gestão de mudanças. Passar de 0,5 para 0,4 muda o que os usuários ouvem. Merece a mesma revisão que uma mudança de prompt.
4. Avalie o Context Focus por tipo de documento, com um conjunto de testes que inclua perguntas cuja resposta está em exceções e notas de rodapé.

A qualidade da busca sempre decidiu a qualidade do RAG enterprise; dissemos isso quando a Cohere lançou o Compass Cloud e o Embed 5. O que o Rerank 5 acrescenta é a capacidade de dizer quão confiante a busca está, num número que amanhã significa a mesma coisa.