Paper: ajuste fino de decisão não gera reranker melhor (Kev e Clef contra rerankers ajustados)
publicado (OK do Fabricio 26/10 BRT).
“System One Models Are Not Better Rerankers” (Michael Dinzinger, Kanishka Ghosh Dastidar e Michael Granitzer; Universidade de Passau e IT:U Linz; arXiv, submetido em 23/10/2026) faz a comparação que os relatos anteriores de Jev como reranker não fizeram: ajuste fino de decisão contra ajuste fino de reranker no mesmo backbone.
Montagem: seis backbones Qwen de 0.6B a 27B, cada um como modelo sem ajuste, ajuste de decisão (Kev em todos os tamanhos, Clef-Flash no 9B, Clef no 27B) e ajuste de reranker (Qwen3-Reranker, Prism e dois treinados pelos autores no MS MARCO). Todos reordenam o mesmo top-100 do BM25 no TREC DL 2019–2023 e em cinco coleções do BEIR.
O que eles relatam:
- Ranking: de 0.6B a 9B, o reranker ajustado vence em todos os backbones por 5 a 29 pontos de nDCG@10, inclusive nas coleções zero-shot. Em 27B os dois empatam (Kev-27B 60,1, reranker dos autores 59,6).
- Até 9B, o ajuste de decisão não acrescenta nada em relação a fazer a mesma pergunta ao modelo sem ajuste (−2,5 a +0,7 ponto).
- A calibração depende da redação. Com
Does document {doc} answer the query?, os modelos de decisão a partir de 4B são mais bem calibrados que os rerankers publicados; Jev (ECE 0,075) e Kev-27B (0,076) são os mais bem calibrados do estudo. Com a pergunta mais frouxa do S1Rank, o ECE do Jev vai a 0,224 e a vantagem some. - Contexto: o Jev em modo conjunto faz 59,1 de nDCG@10, no nível dos rerankers ajustados de 8–9B. O Laya (43,5) não melhora o BM25 (43,2).
A conclusão dos autores: “If you need a reranker, fine-tune a reranker.” Limites que eles mesmos apontam: comparam modelos publicados (não o RLCD, que não foi divulgado), treinam os próprios rerankers uma vez só, com uma receita, e medem calibração só no TREC DL. Código e saídas brutas estão no GitHub. O fio que trouxe o paper: @kalyan_kpl (26/10).