Rerank 5 de Cohere convierte la relevancia en una probabilidad. Así el agente sabe cuándo no encontró nada

Casi todos los pipelines de búsqueda en producción contienen un número que todos tratan como significativo y nadie ha comprobado: la puntuación de relevancia del reranker. Un documento vuelve con 0,82, otro con 0,41, y en algún sitio un umbral, a menudo 0,5 porque parece razonable, decide cuáles leerá el modelo de lenguaje.

Hasta ahora, ese número servía sobre todo para ordenar. Un 0,8 de un modelo no significaba lo mismo que un 0,8 de otro, ni de la siguiente versión del mismo modelo. Los equipos ajustaban el umbral a mano y lo reajustaban en cada actualización, si se acordaban.

Rerank 5 de Cohere, en disponibilidad general desde el 21 de octubre, se ha construido para arreglar ese número. Su promesa es concreta: una puntuación de 0,7 significa un 70% de probabilidad de que el documento sea útil.

Qué se ha lanzado

Dos modelos, Rerank 5 Pro para calidad y Rerank 5 Fast para volumen, disponibles en la API de Cohere, en su Model Vault de un solo inquilino, en Microsoft Foundry, en Amazon SageMaker y en la plataforma North, con despliegues privados en VPC o en local acordados con Cohere. El precio en la API es de 0,05 dólares por millón de tokens para Pro y 0,02 para Fast. Ambos leen hasta 32.000 tokens, cubren más de 100 idiomas y manejan JSON y tablas. Como el reranker lee el texto en bruto en el momento de la consulta, actualizar no exige reindexar ni regenerar embeddings. Para corpus en español hay un dato propio: Cohere afirma que Rerank 5 Pro mejora a Rerank 4 Pro en al menos dos puntos en español y queda primero en 14 de los 19 idiomas no ingleses de su batería interna. Es un resultado del proveedor; conviene comprobarlo con los documentos del propio equipo.

Hay dos capacidades nuevas.

Puntuaciones de relevancia calibradas. Cohere contrastó sus puntuaciones con dos conjuntos de juicios humanos que el modelo no vio en el entrenamiento: un panel ciego de evaluadores y los evaluadores de TREC Deep Learning del NIST. Informa de un error de calibración esperado de alrededor de 0,06 y dice que los rerankers de la competencia que probó tienen casi cuatro veces ese error o más. En Pro, “más probable útil que no” se sitúa en 0,50; en Fast, en 0,45; y el umbral por defecto de Pro se mantiene entre 0,47 y 0,53 en los benchmarks que ejecutó Cohere.

Context Focus, desactivado por defecto, devuelve los pasajes más relevantes de cada documento como intervalos de caracteres con su puntuación, en la misma llamada. Si solo se envían esos pasajes al modelo, el prompt se reduce. En 30 conjuntos de preguntas y respuestas, Cohere afirma que eliminar la mitad del texto recuperado conservó el 96% de la calidad de la respuesta, y eliminar tres cuartas partes conservó el 87%.

La verdadera función es el resultado vacío

El beneficio evidente es el coste. En la prueba de Cohere con un agente de búsqueda, añadir Rerank 5 Pro a la búsqueda por palabras clave elevó la precisión del 46% al 49%; activar Context Focus redujo los tokens por tarea un 19% con la configuración por defecto y un 34% con una más estricta, mientras la precisión subía al 57% y al 58%. Menos tokens y mejores respuestas es una combinación poco habitual, y merece probarse.

El beneficio más importante es más discreto. Cuando una puntuación significa una probabilidad, un umbral puede significar una política. En lugar de enviar siempre los cinco primeros resultados al modelo, la aplicación envía todo lo que supere la línea, que pueden ser doce documentos para una pregunta amplia y ninguno para una pregunta que el corpus no puede responder.

“Ninguno” es el resultado que importa en una empresa. Un agente que no recupera nada relevante y lo dice, o reformula la consulta, se comporta de forma muy distinta a uno que responde con seguridad a partir de lo que por casualidad quedó primero. Nuestra lectura es que muchas respuestas erróneas en el RAG empresarial no son el modelo inventando datos de la nada; son el modelo haciendo lo que puede con los documentos equivocados. Un umbral calibrado da al sistema una forma fundada de darse cuenta de que tiene los documentos equivocados.

Lea las cifras con tres advertencias

Son resultados del proveedor. Los benchmarks de ranking usan RCP-nDCG@10, una métrica que la propia Cohere desarrolló para tratar juicios de relevancia incompletos. La examinamos cuando Cohere la publicó, en nuestro texto sobre medir la búsqueda como un sistema propio. El método es razonable; sigue siendo Cohere evaluando a Cohere, y los resultados de reducción de contexto los puntuó un LLM como juez.

Útil no es correcto. Una puntuación calibrada estima la probabilidad de que un evaluador considere útil el documento para la consulta. No dice nada sobre si el documento está vigente, si ese usuario tiene permiso para verlo o si es cierto. Los permisos y la vigencia deben seguir garantizándose en otro punto del pipeline.

La compresión puede eliminar la salvedad. Context Focus conserva los pasajes más parecidos a la pregunta. En contenido regulado, la frase que importa suele ser la salvedad tres párrafos más abajo: la exclusión de una póliza, la contraindicación de un prospecto, la excepción de un contrato. Pruebe las configuraciones agresivas con documentos cuya respuesta depende de una excepción antes de usarlas donde cuenta.

Qué cambiar en un pipeline de RAG

1. Sustituya el top-k fijo por un umbral sobre puntuaciones calibradas, y registre cuántos documentos lo superan en cada consulta. Un cambio brusco en esa distribución es una alerta temprana.
2. Diseñe de forma explícita la ruta del resultado vacío: reformular la consulta, una pregunta aclaratoria o un honesto “no lo he encontrado”, y mida con qué frecuencia ocurre cada una.
3. Trate el umbral como configuración sujeta a gestión de cambios. Pasar de 0,5 a 0,4 cambia lo que se dice a los usuarios. Merece la misma revisión que un cambio de prompt.
4. Evalúe Context Focus por tipo de documento, con un conjunto de pruebas que incluya preguntas cuya respuesta esté en excepciones y notas al pie.

La calidad de la búsqueda siempre ha decidido la calidad del RAG empresarial; lo dijimos cuando Cohere lanzó Compass Cloud y Embed 5. Lo que añade Rerank 5 es la capacidad de decir cuánta confianza tiene la búsqueda, con un número que mañana significará lo mismo.