Estável não é correto: teste independente com 27 modelos mostra o pplx-decider v1.1 repetindo a mesma resposta errada 728 vezes

Fonte · Ficha do modelo: pplx-decider v1.1 27B

A ZekiWorks (thread, 10/10) testou 27 modelos em 33 configurações com 2.198 questões de leitura e gramática de um livro preparatório, em língua não inglesa. Resultados, código e respostas gravadas são públicos.

• Estabilidade: cinco rodadas de cada questão. O Jev mudou 314 respostas, o Liquid d1 217; o pplx-decider v1.1 (“Decider v1.1”) e o Open-Jev nenhuma, mas o Decider v1.1 deu a mesma resposta errada a 728 questões todas as vezes.
• Confiança: com ≥0,99, o Decider v1.1 aprovou 349 respostas com 0 erros observados, o GLiDE 121 com 0, o Jev 312 com 1, a Decisions API da OpenAI (Luna) 368 com 3. A confiança autodeclarada do Luna aprovou 830 com 137 erros.
• Acurácia: modelos de decisão 66,9% (Decider v1.1) e 67,9% (GLiDE), sem diferença detectável; GPT-6 Astra com raciocínio baixo 97,6%. Os modelos de decisão fizeram 83–89% em leitura, mas 46–59% em gramática.

Um livro, uma língua, quase só gramática, então isso não se generaliza para outras tarefas. É um lembrete útil: uma resposta estável e confiante ainda pode estar errada. Nenhuma nota do catálogo muda.