JevBench v1.6: remedição completa, placares separados para pesos abertos e APIs, e novos líderes
O Benchmark Heaven publicou o JevBench v1.6.0 e o v1.6.1 em 5 de outubro de 2026 e seguiu adicionando linhas até a revisão v1.7.13 do placar (7 de outubro). Lemos os placares ao vivo em 7 de outubro; todos os números abaixo vêm deles.
O que mudou
- Remedição completa. Todo sistema com receita reproduzível rodou de novo durante a madrugada (4–5/10) num sorteio rotativo novo: 1.200 itens selados + 300 públicos, 1.500 decisões por sistema. O placar diz que notas do v1.5 “não são comparáveis com linhas medidas no v1.6”. Quem ainda não foi remedido fica com uma nota v1.5 datada, numa tabela separada.
- Dois placares (v1.7.0, 6/10). O /jev-models ranqueia sistemas de pesos abertos que o Benchmark Heaven roda no próprio hardware alugado. O Jev 1.13.0 aparece ali como referência sem rank (ele define os limites de custo e latência). As APIs hospedadas foram para um placar de APIs novo. Notas e método são os mesmos nos dois.
- Manchete = Capability. No placar de pesos abertos, a manchete é Capability (média de Intelligence e Calibration) entre sistemas “Jev-class”: no máximo 2× o custo e a latência mediana do Jev. O Composite oficial é a média harmônica de quatro eixos (Intelligence, Calibration, Speed, Cost), com portão suave abaixo de Intelligence 50.
Placar de pesos abertos (escala v1.6.1, 7/10)
| # | Sistema | Composite | Capability (rank) |
|---|---|---|---|
| ref | Jev 1.13.0 (referência, sem rank) | 71,5 | 77,1 |
| 1 | Quyet-1.0-Large | 71,4 | 81,7 (#1) |
| 2 | torchcast-decision-12b | 69,9 | 71,7 (#5) |
| 3 | Winnow-12B Q8 | 68,9 | 71,2 (#7) |
| 4 | deck-31B (Gemma-4-31B congelado, não é modelo treinado) | 68,7 | 77,6 (#2) |
| 5 | Cygnet (Gemma-4-12B congelado, não é modelo treinado) | 68,6 | 70,9 (#8) |
| 6 | Jev-Omni | 67,7 | 71,3 (#6) |
| 7 | Xor 26B-A4B (Juspay) | 67,4 | 72,4 (#4) |
| 9 | Surogate Rune 26B-A4B v3 | 65,0 | 73,5 (#3) |
| 10 | GEV-26B-Decide | 64,2 | 70,1 (#10) |
São 102 sistemas de pesos abertos ranqueados. Linhas grandes de 27B como o pplx-decider v1.1 (Intelligence 75,7, a maior entre pesos abertos) caem no Composite porque o self-host custa 5–7× o Jev, o que as deixa fora do limite Jev-class.
Placar de APIs (7/10)
| # | Oferta | Composite | Capability |
|---|---|---|---|
| 1 | Sage 1.3.0 (Levanto Labs) | 74,0 | 78,6 |
| 2 | d1 (Liquid AI) | 73,0 | 74,4 |
| 3 | Jev 1.13.0 | 71,5 | 77,1 |
| 4 | wity-1 (reasoning auto) | 70,8 | 79,1 (fora do Jev-class pela latência) |
| 5 | OpenAI Decisions (gpt-6-luna) | 62,5 | 73,5 |
A OpenAI Decisions respondeu um conjunto selado novo (A5) mais os itens públicos e foi equalizada para a escala v1.6.1. O IC 95% é largo (51,6–64,6) e ela empata estatisticamente com o Instinct (62,2).
Como usamos
Citamos notas do v1.6.1 com a edição do placar e nunca ao lado de notas do v1.5. As fichas que citavam ranks do v1.5.7 agora mostram as duas edições, rotuladas. Resultado de placar conta como evidência de terceiro; números de vendor continuam UnverifiedClaim.
Também em 6 de outubro entrou no ar o Decision Index 0.3 do Hugging Face, um placar separado com método próprio. Ele aparece nas fichas onde se aplica.