ENPT

Jeva-4B

Última atualização:

Aberto47–2102ms$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade4.7/10

    Pesos abertos, Apache-2.0 desde 18/10 (LICENSE e NOTICE no repositório). Pacote Python, docs no GitHub e página do projeto; exige GPU NVIDIA. Sem API hospedada, sem integrações em frameworks, sem SLA. Equipe acadêmica.

  • Capability6.5/10

    Choice (com 'nenhuma' explícita), Noul e Score. Todos os números são dos próprios autores; fora do JevBench, do Decision Index e da Artificial Analysis. Brier do Noul publicado, sem ECE. p50 de 93 ms no Typed Decisions (autores); segundos com 1.000+ opções.

  • Adoção2/100

    1.246 downloads e 41 likes no Hugging Face, 101 estrelas no GitHub, alguns resumos no X desde 13/10. Nenhuma integração ou uso em produção encontrado.

Vendor claims

publicado (OK do Fabricio 18/10 BRT).

O Jeva-4B é o modelo liberado junto com o paper “Jeva: System One Models from First Principles” (Qi Li e Xinchao Wang, National University of Singapore; paper de 13/10/2026). É um modelo System One: você manda um pedido e perguntas tipadas, e ele devolve probabilidades, não texto. A news de 13/10 conta o paper. Esta ficha existe porque os pesos agora têm licença.

A licença mudou em 18/10. Às 07:52 BRT o repositório no Hugging Face recebeu o commit “License Jeva-4B weights under Apache-2.0”: um arquivo LICENSE, um NOTICE e license: apache-2.0 no card. A cabeça de decisão (head.pt) e o adaptador (backbone_adapter/) são Apache-2.0; o backbone Qwen3.5-4B que vai junto mantém a licença Apache-2.0 do original (backbone/LICENSE). A mensagem do commit diz que nenhum peso nem configuração mudou. Antes disso o repositório não tinha licença, e o README do GitHub dizia que os pesos “retain their respective licenses”.

O que é

Atributo Valor
Backbone Qwen3.5-4B, dentro do repositório, mais um LoRA de rank 64 já mesclado para servir e uma cabeça de decisão de 13,4M de parâmetros (head.pt)
Tipos de pergunta Choice (com “nenhuma das opções” opcional), Noul (probabilidade de a afirmação ser verdadeira), Score (nível esperado da rubrica)
Desenho O pedido e cada opção são codificados separadamente; uma pilha de decisão atualiza só o estado do pedido contra os vetores das opções, então as opções podem ser cacheadas e reordenadas à vontade
Hardware Linux x86_64 e GPU NVIDIA; o pacote Python jeva fixa kernels PyTorch 2.9.1 / CUDA 12.8
Como servir Jeva.from_pretrained("LIQIIIII/Jeva-4B") e model.system_one(state=..., questions=...). Não tem servidor /v1/systemone próprio, e não achamos suporte no vLLM nem no transformers serve, que leem a resposta de um modelo autorregressivo padrão
Fonte Hugging Face · GitHub (Apache-2.0, 101 estrelas) · página do projeto

Conferido em 18/10/2026: 1.246 downloads, 41 likes, sem acesso restrito.

Evidências (UnverifiedClaim)

Tudo abaixo vem do paper e foi rodado pelos próprios autores, na suíte deles. Nenhum terceiro reproduziu, e o Jeva-4B não está no JevBench, no Decision Index nem no índice da Artificial Analysis (conferido em 18/10).

  • Acurácia: no Typed Decisions faz 78,30 contra 78,70 do InternDecision-4B e 74,10 do Jev 1.13.0; o paper diz liderar sete de oito fatias.
  • Ordem: em 600 exemplos de Choice, em até cinco ordens, não troca nenhuma decisão (acurácia em todas as ordens 76,67%); o Jev 1.13.0 troca em 17,00% (66,67% em todas as ordens).
  • Nulo: AUROC de 98,66% em 3.080 requisições pareadas do BANKING77 com 16 candidatos (588 sem resposta certa); KEV-BF16 93,61%, InternDecision-4B 84,27%, JevK5 79,44%. Pega 93,88% das respostas ausentes com 5,02% de falsos positivos.
  • Calibração: o menor Brier de Noul entre os modelos comparados (0,0184 em 600 exemplos). O paper não reporta ECE e trata o ajuste de temperatura como etapa à parte.
  • Latência: p50 de 93,1 ms no Typed Decisions (46,7 ms com bancos de opções compartilhados, partidas a frio incluídas); conjuntos de documentos longos 2.102 ms sem cache e 75,1 ms com todas as opções em cache. Com 2.048 candidatos o p50 é de 12 s com batching por comprimento. Nos trechos que lemos o paper não cita a GPU.

Conta das notas (18/10/2026, do zero, fórmulas do docs/06)

  • Maturidade = disponibilidade 7 × 0,30 + docs 7 × 0,25 + integrações 1 × 0,25 + suporte 3 × 0,20 = 2,10 + 1,75 + 0,25 + 0,60 = 4,70 → 4,7.
  • Capability = tipos 10 × 0,30 + calibração 4 × 0,25 + latência 6 × 0,25 + acurácia 5 × 0,20 = 3,00 + 1,00 + 1,50 + 1,00 = 6,50 → 6,5.
  • Adoção = engajamento 4 × 0,35 + ecossistema 1 × 0,35 + produção 0 × 0,30 = 1,40 + 0,35 + 0 = 1,75 → 2.

Disponibilidade 7: pesos abertos com licença clara, mas sem API hospedada. Docs 7: model card, README com instalação e exemplos, guias de avaliação, fine-tuning e runtime, página do projeto e paper; sem SDK oficial além do pacote. Integrações 1 e suporte 3: nada em vLLM, Ollama, LiteLLM ou framework de agentes, e o suporte é o GitHub issues (nenhuma aberta), sem SLA. Tipos 10: choice, score e boolean (Noul). Calibração 4: Brier publicado, mas sem ECE (a regra do claim sem ECE). Latência 6: p50 do autor abaixo de 300 ms no Typed Decisions, uma configuração, sem GPU citada. Acurácia 5: datasets públicos, mas rodados pelos autores e fora de qualquer placar, então a regra proporcional (8 × placar ÷ referência) ainda não se aplica. Engajamento 4: 1.246 downloads, 41 likes, 101 estrelas, alguns resumos no X. Ecossistema 1, produção 0.

A nota se move quando o Jeva-4B tiver linha no JevBench, no Decision Index ou na Artificial Analysis, ou uma rodada independente.

Para quem serve / para quem não serve

Serve: pesquisa em roteamento, recuperação ou seleção invariante à ordem sobre conjuntos grandes de opções, tarefas em que “nenhuma delas” é resposta de verdade, e cargas que reaproveitam as mesmas opções em muitos pedidos.

Não serve: quem precisa hoje de endpoint hospedado, de servidor /v1/systemone ou de inferência só em CPU, nem escolha que dependa só dos números dos autores. O model card pede supervisão humana em decisões de consequência.