Artificial Analysis lança o próprio Decision Index: Jev 1.13 lidera os modelos de decisão com 58, Claude Haiku 5.5 faz 61
Em 13/10/2026 a Artificial Analysis publicou o Artificial Analysis Decision Index v1.0 (post de lançamento no X: 735 likes, cerca de 48 mil views em 14/10). A própria Artificial Analysis roda todas as avaliações. É outro placar, diferente do Decision Index da comunidade no Hugging Face (edição 0.3); as notas dos dois não se comparam.
O que mede
Quatro conjuntos, 25% cada:
| Conjunto | Habilidade | Métrica |
|---|---|---|
| AA-Omniscience-Decision (500 perguntas privadas, com opção “não sei”) | Conhecimento e alucinação | Acurácia + taxa de não alucinação, 12,5% cada |
| HLE-MultiChoice (513 perguntas só texto do Humanity’s Last Exam) | Raciocínio | Acurácia |
| When2Call (NVIDIA) | Chamada de ferramenta | Acurácia |
| WildGuardTest (Ai2; 835 das 1.725 linhas) | Classificação de segurança | F1 médio |
Os LLMs rodam os mesmos conjuntos com saída estruturada que nomeia uma opção, então não dão probabilidade por opção.
Resultados do lançamento
- Modelos de decisão: Jev 1.13 com 58, à frente de GLiDE e Microsoft-Decision-1, com 54. São onze modelos de decisão no índice.
- Custo por 1M de tarefas: o Decider v1.1 27B é o mais barato, US$ 17, depois Microsoft-Decision-1 (US$ 31) e Jev 1.13 (US$ 42), os três na linha de Pareto de custo. O GLiDE custa US$ 119. A faixa vai de US$ 17 a US$ 199.
- Velocidade: o Celeris-1 Decision tem a mediana mais rápida, 0,06 s por tarefa, contra 0,13 s do Jev 1.13.
- Por conjunto: o Jev faz 21 no HLE-MultiChoice, onde nenhum outro modelo de decisão passa de 15. O d1 tem a melhor acurácia no Omniscience (41), mas taxa de não alucinação de 2; o Microsoft-Decision-1 lidera essa taxa com 40%. Celeris-1 Decision e GLiDE lideram o When2Call com 84. O GLiDE lidera o WildGuardTest com 95.
- Contra LLMs: Claude Haiku 5.5 (Low) faz 61, 3 pontos acima do Jev 1.13, com 1,4 s por tarefa e US$ 184 por 1M de tarefas (11× mais lento, 4,4× o custo). GPT-6 Luna (Low) faz 55.
Calibração
A Artificial Analysis acha todos os modelos de decisão confiantes demais: em quase toda faixa de probabilidade, a acurácia fica abaixo da probabilidade dada à resposta escolhida. A diferença é maior em conhecimento e raciocínio (Omniscience, HLE) e pequena em chamada de ferramenta e classificação. Os gráficos de calibração dos LLMs estão “coming soon”.
Como ler
É o primeiro placar de terceiros da categoria feito por uma casa de benchmark estabelecida, e testa aquilo para que modelos de decisão menos servem (conhecimento, raciocínio difícil) ao lado daquilo para que servem (roteamento, rótulos de segurança). As notas são do dia do lançamento; o leaderboard ao vivo vai mudar.