ENPT

Jeffan-31b-1710

Última atualização:

Aberto121–121ms$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade4.3/10

    Pesos bf16 Apache-2.0 sobre o google/gemma-4-31B-it, carregáveis como o modelo base, com receita vLLM 0.29.0 (B200) no card. O card diz que é modelo de pesquisa, primeira versão. Autor independente, sem API hospedada, integrações nem SLA.

  • Capability5.3/10

    Decision Index 0.4.1 (22/10) Full 69,75 (#2, sem empate), acima do Jev 1.13 (59,22). Só múltipla escolha, uma pergunta por prompt, até 26 opções (A–Z); sem sim/não nem score. Sem ECE no card (o placar mede 0,047); mediana do placar 121 ms.

  • Adoção1/100

    Cerca de 71 downloads e 6 likes três dias após o lançamento (22/10). Sem integrações nem usuários em produção encontrados.

Vendor claims

publicado (OK do Fabricio 22/10 BRT). Notas calculadas do zero.

O que é

O Jeffan-31b-1710 (Hugging Face, Apache-2.0, lançado em 19/10/2026) é um modelo de pesquisa sobre o Gemma-4-31B-it. Você passa um estado (documento, conversa, lista de ferramentas) e uma pergunta de múltipla escolha; ele devolve uma probabilidade para cada opção a partir da distribuição do próximo token sobre os códigos das opções. Não gera texto. Entradas de até 8.192 tokens.

Limites (leia antes de colocar em produção)

  • Só múltipla escolha, uma pergunta por vez. Cada pergunta precisa de um prompt próprio no layout fixo do card (State: / Question: / Options: com códigos A, B, …). Não há tipo sim/não (noul) nem score, nem estado compartilhado entre perguntas, então não é drop-in para /v1/systemone.
  • No máximo 26 opções (A–Z). Outros formatos de prompt “may differ”.

Resultado no placar

Placar Linha Resultado
Decision Index 0.4.1 (22/10/2026) Jeffan-31b-1710 Full 69,75 (#2, sem empate); público 73,13 (#2); Jev 1.13 59,22 (#48), Jev 1.14 60,24

O card diz “#1” (21/10, 69,8); nos dados de 22/10 o GLiDE V1.2 da Fastino está em primeiro (71,52). Não conferido no JevBench nem no Artificial Analysis; os placares nunca são combinados.

Claims do autor (UnverifiedClaim)

  • “#1 on the Jev Decision Index leaderboard (21 Oct 2026)”, Full 69,8 de 220 modelos (fonte)

Notas (do zero, 22/10/2026)

  • Capability 5,3 = tipos 3 × 0,30 + calibração 4 × 0,25 + latência 7 × 0,25 + acurácia 8 × 0,20 = 0,90 + 1,00 + 1,75 + 1,60 = 5,25 → 5,3. Tipos 3: só choice. Calibração 4: sem ECE no card. Latência 7: mediana do placar 121 ms. Acurácia: 8 × 69,75 ÷ 59,22 = 9,42, teto 8.
  • Maturidade 4,3 = disponibilidade 7 × 0,30 + docs 5 × 0,25 + integrações 2 × 0,25 + suporte 2 × 0,20 = 4,25 → 4,3.
  • Adoção 1 = engajamento 1 × 0,35 + ecossistema 1 × 0,35 + produção 0 × 0,30 = 0,70 → 1.