JevBench v1.5.7 no Benchmark Heaven: Cygnet e Winnow na frente; Jev é #3 no oficial e lidera a nova manchete de capability
O Benchmark Heaven está mostrando o JevBench v1.5.7 com 111 sistemas ranqueados (página conferida em 5/10/2026). O próprio site chama o Cygnet e o Winnow-12B Q8 de co-líderes estatísticos, medidos em 1.624 decisões por sistema. Lemos o placar ao vivo e confirmamos os números abaixo.
Score oficial (top 5)
| Rank | Sistema | Score oficial | Capability (manchete nova) |
|---|---|---|---|
| 1 | Cygnet (blockbrain, Gemma-4-12B-it congelado) | 73,7 | 79,0 |
| 2 | Winnow-12B Q8 (EldanRing/Winnow-12B) | 73,2 | 79,3 |
| 3 | Jev 1.13.0 (TypeSafe AI) | 72,1 | 80,0 |
| 4 | JevK5 v0.3 (4B) | 71,9 | 72,3 |
| 5 | Vansa-3.4 (API System One hospedada) | 71,6 | 72,8 |
Capability é um ranking separado. Nessa manchete o Jev fica em 80,0, empatado com o SimpleJev Qwen3.8-27B na lista que raspamos, e à frente do Cygnet (79,0) e do Winnow (79,3). Score oficial e capability não ordenam do mesmo jeito.
Modelos do catálogo neste placar
| Nossa ficha | Linha do placar | Oficial | Notas |
|---|---|---|---|
| Jev | Jev 1.13.0 | 72,1 (#3) | Capability 80,0 |
| Winnow-12B | Winnow-12B Q8 | 73,2 (#2) | Capability 79,3; ficha nova neste radar |
| JevK5 | JevK5 v0.3 (4B) | 71,9 (#4) | Era #3 no v1.4.2 com 62,04 — edição diferente |
| ImaJev-4B | Imajev-4B (RTX 5090) | 70,4 (#10) | |
| Lev | lev (Interfaze) | 69,1 (#12) | |
| Hopper | Hopper | 67,5 (#17) | Distinto do Hopper (G) no Decision Index |
| Surogate Rune | Surogate Rune 26B-A4B v3 | 66,5 (#19) | |
| Clef | Clef-Flash / Clef | 55,1 (#26) / 17,0 (#63) | Multimodais medidos em texto |
| AutoJev-27B | AutoJev-27B | 19,5 (#55) | |
| Laya | variantes Laya | 0,0 (#91–#111) | O placar mostra score oficial zero nessas linhas |
| Família Instinct (não a ficha tuned) | Instinct Dual 4B / Instinct 27B | 47,0 (#30) / 18,3 (#60) | Leituras congeladas; o Instinct Tuned 4B ainda não está no placar (issue #151) |
Nomes que ainda não entram no catálogo
| Nome | Classe por enquanto | Por quê |
|---|---|---|
| Cygnet | notmodels / método (watch) | Receita de Gemma-4-12B-it congelado (blockbrain-ai/cygnet-recipe); já marcado como método quando apareceu como pacote Ollaya. #1 no score oficial sem pesos de decisão treinados. |
| Vansa-3.4 | watch | API System One hospedada em vansa.org; sem pesos abertos conferidos. |
| Malkuth-4B / 2B | watch | Pós-treinos do Kev (newfull5/malkuth); #18 com 66,8 no 4B. |
| Manchego v2.1 | watch | #13 com 68,8. |
O que muda aqui
As seções de evidência das fichas acima agora citam o v1.5.7. Sem mudança de nota neste lote — a edição do placar mudou, e capability é um eixo novo que ainda não entrou na rubrica. Três fichas novas no mesmo radar: Instinct Tuned 4B, Gero-4B e Winnow-12B (a linha #2 do placar).