Jev-Omni

Última atualização:

Aberto80–500ms$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade4.8/10

    Pesos Apache-2.0 públicos + loader/exemplo; ops classe GPU (~50GB FP32), stack com head custom, sem SLA hosted, release cedo.

  • Capability6.3/10

    Placares oficiais (17/10): Decision Index 0.3.2 Full 42,35 (#88); JevBench Intelligence 55,5, calibração 87,0, p50 0,155 s. Classificador tipado de opções em texto/imagem/áudio/vídeo; melhor com ≤20 opções; todos os benches de headline são UnverifiedClaim.

  • Adoção38/100

    Lançamento viral no X (~2k likes / ~170k views no post do autor) + ~107 likes no HF; ainda nicho fora da onda open-Jev.

Vendor claims

Notícias sobre este modelo

Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

Jev-Omni é um classificador de decisão open multimodal independente — Gemma 4 12B IT + head custom (head.pt) e loader (jev_omni.py) — não é produto TypeSafe e não foi treinado em saída do Jev (disclaimer do card).

State + pergunta + opções entram; sai {prediction, prediction_index, confidence, probabilities} num único forward pass, sem geração de texto. Modalidades: text | image | audio | video via path em media=. Card: Hugging Face akhilaaa3/Jev-Omni (Apache-2.0). Dataset citado: akhilaaa3/decision-bench.

No catálogo, decisionTypes lista choice e boolean (noul via opções Yes/No). O rodapé do card também fala em “score”; o loader público é classificador de opções (2–256 slots, melhor ≤20) — score-em-buckets só se você mesmo codificar os buckets. Não é drop-in puro de transformers AutoModel: carrega pelo helper do repo.

Entre os peers open do catálogo, é o primeiro com as quatro modalidades shippadas (texto/imagem/áudio/vídeo). O openjev já cobre imagem/vídeo/texto (áudio anunciado); Prosodia é especialista em áudio e fica fora do quadrante.

Intro pública: post no X em 21/09/2026 (@Akhila_988); HF criado ~20/09/2026. ~107 likes em 23/09/2026 (API de downloads mostrou 0 na checagem).

Limites

  • Todos os benches de headline (DecisionBench, JevBench, MMAU, MVBench) e as latências H200 são self-reported → UnverifiedClaim, não números do ModelSystem.One
  • “30k” no card vs decision_config recipe size: 24000 vs tweet “30k exemplos / <100ms em 1 H100” — tensão entre fontes; prefira as tabelas do card com cuidado e mantenha claims do tweet como não verificados
  • O vídeo de lançamento no X é motion-graphics polido (não UI live crua). Latências na tela (ex.: texto ~17 ms, imagem ~36 ms, áudio ~11 ms / 13s, vídeo ~201–211 ms / 8 frames) diferem da tabela H200 do HF (83 / 26 / 31 / 504 ms) — trate os dois como UnverifiedClaim
  • Higiene do demo: barras animadas podem mostrar probs que não somam 1 (ex.: YES 53,3% / NO 6,5% num clipe de áudio) — packaging, não prova de calibração do catálogo
  • CUDA / ops classe GPU (~50 GB FP32 antes do overhead; BF16 autocast na inferência); stack com head custom; sem SLA hosted
  • Melhor com ≤20 opções; o head aceita 256, mas qualidade acima de 20 não está estabelecida
  • Sem afiliação TypeSafe; “Jev” no nome é só o formato da interface

Pesos de decisão multimodais treinados + inferência open que devolve probs tipadas nas quatro modalidades (mesma classe de openjev / Tiny-Jev, footprint GPU maior que mini peers open; distinto do Jev hosted). Radar: 2026-09-23.

Auditoria dos placares (17/10/2026)

Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar Linha Resultado
Decision Index 0.3.2 (16 out 19:00 UTC) Jev-Omni Full 42,35 (#88, grupo de empate 21); público 41,04 (#96); same-skills 42,18; new-domains 39,24
JevBench pesos abertos (ao vivo 17/10) Jev-Omni Capability 71,3; Intelligence 55,5; calibração 87,0; p50 0,155 s; US$ 0,029/1k
ImageJevBench v0.3.0 Jev-Omni Capability 54,3; Intelligence 37,5; calibração 71,0; p50 0,32 s; US$ 0,022/1k
ImageJevBench arquivo v0.1.5 (congelado) Jev-Omni Capability 76,9; Intelligence 63,9; calibração 89,9; p50 0,30 s; US$ 0,022/1k

Atualização da nota (auditoria, 17/10/2026). Capability 6,9 → 6,3, primeira conta completa (a nota anterior não tinha detalhamento guardado) = tipos 6 × 0,30 + calibração 6 × 0,25 + latência 7 × 0,25 + acurácia 6 × 0,20 = 6,25 → 6,3. Tipos vêm de decisionTypes; calibração do eixo do JevBench 87,0 (≥90 → 7, 85–89,9 → 6, 75–84,9 → 5, 60–74,9 → 4, abaixo de 60 → 3; sem ECE do autor); latência do p50 self-hosted do placar 0,155 s, sem p99 (≤0,25 s → 7, ≤0,5 s → 6, ≤1 s → 5, acima → 3); acurácia Decision Index Full 42,35 ÷ 60,11 × 8 = 5,6, arredondado para cima. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (akhilaaa3/Jev-Omni): 5.272 downloads, 415 likes, tag de licença apache-2.0, última modificação 2026-10-13.