Hamel Husain e Antaripa Saha testam seis modelos de decisão como juízes de eval: ajuste o limite, depois confira a calibração
publicado (OK do Fabricio 20/10 BRT).
Hamel Husain e Antaripa Saha publicaram “How To Use Decision Models for Evals” em 20 de outubro de 2026. É um teste independente e pequeno de modelos de decisão como juízes baratos para evals automáticos.
Montagem. 100 traces rotulados por pessoas, de um agente de locação de apartamentos; a tarefa é sinalizar traces com erro, como reserva que falhou ou passagem para humano que não aconteceu. Testaram Jev 1.13, Perplexity Decider 1.1 27B, Liquid d1 e d1-ultra, Cloudflare Clef Flash e OpenAI Decisions (GPT-6 Luna), todos com os mesmos critérios.
Resultados (números deles, um dataset).
- Limites: muita gente fica no 0,50 padrão, o que “can leave a lot of performance on the table”. Exigindo precisão e recall de pelo menos 80%, só Perplexity, d1-ultra e OpenAI Decisions passaram.
- Custo contra qualidade: o Perplexity foi a opção mais barata entre as que passaram, 0,82 centavo de dólar por 100 execuções (F1 0,79); o OpenAI Decisions chegou a F1 0,87 com 3,72 centavos, cerca de 4,5× o custo. O OpenAI separou melhor as classes nesta tarefa.
- Calibração: Jev e d1-ultra já vinham bem calibrados; o Platt scaling aproximou Perplexity, d1 e Clef Flash da diagonal (um grupo do Clef Flash previa cerca de 8% de falha onde 60% falharam) e piorou um pouco as probabilidades do OpenAI.
- Latência: tempos médios de resposta, de rodadas separadas, foram de 1,56 s (d1-ultra) a 7,85 s (Perplexity); os autores dizem que isso não compara throughput.
Como ler. Uma tarefa ampla com 100 traces; os autores dizem que os resultados mudam de tarefa para tarefa e recomendam um juiz separado por modo de falha. Não muda nenhuma nota. A lição prática, ajustar o limite com os seus rótulos e conferir a calibração antes de confiar numa probabilidade, vale para todos os modelos do catálogo.