Artificial Analysis Decision Index v2: Drex Max v1.1 lidera 17 modelos de decisão com 73; Jev 1.14 marca 67
A Artificial Analysis passou o placar de modelos de decisão para o Decision Index v2. A página de metodologia data a v2.0 de novembro de 2026 e a v1.0 de outubro a novembro. A primeira menção pública que achamos é um post da Examenos de 8/11. As notas abaixo foram lidas no placar ao vivo em 8/11/2026, às 08:50 BRT.
Esse placar é separado do Decision Index da comunidade no Hugging Face e da v1.0 do mesmo índice (nossa nota de lançamento). As notas dos três não são comparáveis.
O que mudou desde a v1.0
A v2 tem seis avaliações em vez de quatro:
| Avaliação | O que testa | Peso |
|---|---|---|
| AA-Paperclip (nova, privada) | 1.500 currículos, recibos/notas e artigos científicos; 15 respostas por documento, contadas como uma decisão | 30% |
| EvalSafe-O*NET-AA (nova) | Julgamentos sobre documentos de trabalho, a partir do conjunto aberto O*NET da TypeSafe; a referência é onde GPT-6 Astra e Claude Fable 5.1 concordam | 15% |
| When2Call (NVIDIA) | Escolha de chamada de ferramenta entre quatro respostas | 10% |
| AA-Omniscience-Decision v1.1 | Conhecimento e alucinação, com o “não sei” escrito de dez jeitos | 15% |
| HLE-MultiChoice v1.1 | Raciocínio difícil, com opção de se abster | 15% |
| AA-Symmetry (nova) | Se a decisão se mantém quando as opções são reordenadas, renomeadas ou negadas | 15% |
O WildGuardTest saiu. Toda avaliação com resposta certa agora usa um Decision Score: acurácia menos o Brier da probabilidade da resposta escolhida, numa escala de 0 a 100 em que 50 separa certo de errado. Errar com convicção custa mais do que errar em dúvida. Os LLMs também passam a dar probabilidade para cada opção, então a AA consegue medir a calibração e a invariância deles.
Modelos de decisão na v2 (8/11)
| # | Modelo | Índice |
|---|---|---|
| 1 | Drex Max v1.1 | 73,4 |
| 2 | GLiDE v1.2 | 72,8 |
| 3 | Mammoth 27B | 72,4 |
| 4 | Decider v1.2 | 70,5 |
| 5 | d1-ultra | 70,4 |
| 6 | SubQ Snap 1.1 | 69,2 |
| 7 | Elephant 9B | 67,5 |
| 8 | Jev 1.14 | 67,0 |
| 9 | Celeris-1.1 Decision | 63,5 |
| 10 | Drex 2.0 | 63,4 |
Depois vêm Mercury Decide 63,0, Microsoft-Decision-1 62,8, GPT-6 Luna (Decisions) 61,7, d1 61,6, Decider Flash v1.2 61,6, Clef 60,2 e Clef-Omni 59,3. São 17 modelos de decisão no total.
Como ler
- Os três primeiros estão a menos de um ponto. O Drex Max v1.1 lidera no AA-Paperclip (72,8) e o GLiDE v1.2 tem a melhor média só de acurácia (60,1 contra 58,4). O Mammoth 27B tem de longe o melhor AA-Symmetry (95,5; os outros dois do topo ficam perto de 84).
- O Jev 1.14 é o oitavo. Continua forte em julgamento (EvalSafe-O*NET-AA 91,1, o maior dos dez acima), mas fraco no AA-Paperclip (57,5). Parte disso é o formato: uma resposta errada em 15 derruba o documento inteiro.
- Os posts da Fastino de 4 e 5/11 falando em “#1 na Artificial Analysis” (@george_onx, @singularity_bly) não batem com a tabela da v2 que lemos em 8/11, onde o GLiDE v1.2 é o segundo. Não deu para confirmar a que versão ou data esses posts se referiam.
- AA-Paperclip e AA-Omniscience-Decision são privados; ninguém fora da AA consegue reproduzi-los.
Nenhuma nota do catálogo muda com esta nota. Pelas regras do quadrante a AA conta como placar independente, mas nunca é misturada com o Decision Index do Hugging Face.