Jev-Omni
Notas do quadrante
Ver o quadrante completoPontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.
- Maturidade4.8/10
Pesos Apache-2.0 públicos + loader/exemplo; ops classe GPU (~50GB FP32), stack com head custom, sem SLA hosted, release cedo.
- Capability6.3/10
Placares oficiais (17/10): Decision Index 0.3.2 Full 42,35 (#88); JevBench Intelligence 55,5, calibração 87,0, p50 0,155 s. Classificador tipado de opções em texto/imagem/áudio/vídeo; melhor com ≤20 opções; todos os benches de headline são UnverifiedClaim.
- Adoção38/100
Lançamento viral no X (~2k likes / ~170k views no post do autor) + ~107 likes no HF; ainda nicho fora da onda open-Jev.
Vendor claims
- DecisionBench Medium 87,57% / micro 86,01% (80 cenários / 293 perguntas) — card do autor[Claim do fornecedor — não verificado independentemente]
- JevBench matched 86,15% / micro 87,45% (195 grupos / 231 decisões) — card do autor[Claim do fornecedor — não verificado independentemente]
- MMAU 63,10% (1000 perguntas); MVBench 53,10% (14 tarefas / 2786 perguntas) — card do autor[Claim do fornecedor — não verificado independentemente]
- H200 warm: 83 ms (~2k texto), 26 ms imagem, 31 ms áudio 13s, 504 ms vídeo 16 frames — card do autor[Claim do fornecedor — não verificado independentemente]
- Card: fine-tune de 30.000 perguntas; decision_config recipe size 24000; tweet cita 30k exemplos / <100ms em 1 H100 — números conflitam entre fontes[Claim do fornecedor — não verificado independentemente]
- Post de lançamento no X: on par com Jev em benches tipados; framing de first-multimodal é marketing — catálogo só trata o ship das quatro modalidades como fato de peer open[Claim do fornecedor — não verificado independentemente]
Notícias sobre este modelo
Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.
Jev-Omni é um classificador de decisão open multimodal independente — Gemma 4 12B IT + head custom (head.pt) e loader (jev_omni.py) — não é produto TypeSafe e não foi treinado em saída do Jev (disclaimer do card).
State + pergunta + opções entram; sai {prediction, prediction_index, confidence, probabilities} num único forward pass, sem geração de texto. Modalidades: text | image | audio | video via path em media=. Card: Hugging Face akhilaaa3/Jev-Omni (Apache-2.0). Dataset citado: akhilaaa3/decision-bench.
No catálogo, decisionTypes lista choice e boolean (noul via opções Yes/No). O rodapé do card também fala em “score”; o loader público é classificador de opções (2–256 slots, melhor ≤20) — score-em-buckets só se você mesmo codificar os buckets. Não é drop-in puro de transformers AutoModel: carrega pelo helper do repo.
Entre os peers open do catálogo, é o primeiro com as quatro modalidades shippadas (texto/imagem/áudio/vídeo). O openjev já cobre imagem/vídeo/texto (áudio anunciado); Prosodia é especialista em áudio e fica fora do quadrante.
Intro pública: post no X em 21/09/2026 (@Akhila_988); HF criado ~20/09/2026. ~107 likes em 23/09/2026 (API de downloads mostrou 0 na checagem).
Limites
- Todos os benches de headline (DecisionBench, JevBench, MMAU, MVBench) e as latências H200 são self-reported → UnverifiedClaim, não números do ModelSystem.One
- “30k” no card vs
decision_configrecipesize: 24000vs tweet “30k exemplos / <100ms em 1 H100” — tensão entre fontes; prefira as tabelas do card com cuidado e mantenha claims do tweet como não verificados - O vídeo de lançamento no X é motion-graphics polido (não UI live crua). Latências na tela (ex.: texto ~17 ms, imagem ~36 ms, áudio ~11 ms / 13s, vídeo ~201–211 ms / 8 frames) diferem da tabela H200 do HF (83 / 26 / 31 / 504 ms) — trate os dois como UnverifiedClaim
- Higiene do demo: barras animadas podem mostrar probs que não somam 1 (ex.: YES 53,3% / NO 6,5% num clipe de áudio) — packaging, não prova de calibração do catálogo
- CUDA / ops classe GPU (~50 GB FP32 antes do overhead; BF16 autocast na inferência); stack com head custom; sem SLA hosted
- Melhor com ≤20 opções; o head aceita 256, mas qualidade acima de 20 não está estabelecida
- Sem afiliação TypeSafe; “Jev” no nome é só o formato da interface
Por que está no catálogo
Pesos de decisão multimodais treinados + inferência open que devolve probs tipadas nas quatro modalidades (mesma classe de openjev / Tiny-Jev, footprint GPU maior que mini peers open; distinto do Jev hosted). Radar: 2026-09-23.
Auditoria dos placares (17/10/2026)
Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.
| Placar | Linha | Resultado |
|---|---|---|
| Decision Index 0.3.2 (16 out 19:00 UTC) | Jev-Omni | Full 42,35 (#88, grupo de empate 21); público 41,04 (#96); same-skills 42,18; new-domains 39,24 |
| JevBench pesos abertos (ao vivo 17/10) | Jev-Omni | Capability 71,3; Intelligence 55,5; calibração 87,0; p50 0,155 s; US$ 0,029/1k |
| ImageJevBench v0.3.0 | Jev-Omni | Capability 54,3; Intelligence 37,5; calibração 71,0; p50 0,32 s; US$ 0,022/1k |
| ImageJevBench arquivo v0.1.5 (congelado) | Jev-Omni | Capability 76,9; Intelligence 63,9; calibração 89,9; p50 0,30 s; US$ 0,022/1k |
Atualização da nota (auditoria, 17/10/2026). Capability 6,9 → 6,3, primeira conta completa (a nota anterior não tinha detalhamento guardado) = tipos 6 × 0,30 + calibração 6 × 0,25 + latência 7 × 0,25 + acurácia 6 × 0,20 = 6,25 → 6,3. Tipos vêm de decisionTypes; calibração do eixo do JevBench 87,0 (≥90 → 7, 85–89,9 → 6, 75–84,9 → 5, 60–74,9 → 4, abaixo de 60 → 3; sem ECE do autor); latência do p50 self-hosted do placar 0,155 s, sem p99 (≤0,25 s → 7, ≤0,5 s → 6, ≤1 s → 5, acima → 3); acurácia Decision Index Full 42,35 ÷ 60,11 × 8 = 5,6, arredondado para cima. Maturidade e adoção inalteradas.
Hugging Face em 17/10 (akhilaaa3/Jev-Omni): 5.272 downloads, 415 likes, tag de licença apache-2.0, última modificação 2026-10-13.
