Paper: modelos de decisão se abstêm mais que LLMs quando falta a jurisprudência certa

Fonte · Ficha do modelo: pplx-decider v1.2 (27B + Flash 4B)

“Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority” (M. Mikail Demir, University at Albany, SUNY; outubro de 2026) testa o que os modelos fazem quando o precedente correto não está entre as opções.

Montagem. Os 5.314 itens de teste do CaseHOLD, mais uma condição de abstenção: em 1.670 itens o holding verdadeiro é trocado por um parecido de outro caso, e uma sexta opção, “nenhum destes”, passa a ser a certa. Quatro modelos de decisão (Jev 1.14, pplx-decider v1.2, d1-ultra e GPT-6 Luna Decisions, todos pela interface de decisões do OpenRouter) contra seis LLMs generativos. Código, dados e todas as saídas dos modelos são públicos.

Resultados (rodados pelo autor):

• No CaseHOLD original, o pplx-decider chega a 88,1%, empatado com o Gemini 3.8 Flash (88,2%), a cerca de 1/55 do custo.
• Quando nenhuma opção está certa, os LLMs generativos ainda escolhem um holding em 38–86% dos itens. O Jev é o que menos faz isso (30,1%), mas também se abstém em 26,2% dos itens que têm resposta certa; o pplx-decider quase não se abstém à toa (1,8%), mas erra mais (56,5%).
• Aceitar a resposta do Gemini só quando o pplx-decider concorda corta pela metade as citações erradas (18,4% → 9,4%), ao custo de mandar mais itens para revisão humana.
• Um Qwen3-8B ajustado só com as probabilidades do Jev, sem rótulos, iguala a acurácia do Jev (63,8% vs 63,9%) com erro de calibração de 0,025.

Uma tarefa, direito dos EUA, um prompt por tipo de modelo; os números são do autor, não de um placar.