mini-jev

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

• Maturidade2/10

  Repo didático pré-registrado com demos — explicitamente não é produto de decisão; menor maturidade no mapa.

• Capability3.2/10

  Mede leituras de logits de letras para escolhas fechadas em Qwen3-4B congelado; tipos do catálogo = choice+boolean (score não estudado).

• Adoção7/100

  Citação útil na faixa de método dos gaps S1Bench; audiência pequena além de quem estuda select-over-generate.

Vendor claims

• Em trials pareados CLINC150, letter-read aproximadamente igual à acurácia JSON-grammar para enums fechados (estudo pré-registrado)[Claim do fornecedor — não verificado independentemente]
• Qwen3-4B-Instruct congelado; sem treino de decision-head (autor)[Claim do fornecedor — não verificado independentemente]
• Score / escalas ordenadas não foram medidas no estudo (autor)[Claim do fornecedor — não verificado independentemente]

mini-jev é um experimento didático, não um release de pesos System One treinados: mostra até onde um Qwen3-4B congelado chega lendo logits de letras em campos de escolha fechada versus JSON com grammar — por r-ms, não TypeSafe.

Os decisionTypes do catálogo são só choice e boolean — o estudo não mediu score estilo Jev. Repo: github.com/r-ms/mini-jev.

Limites (leia antes de colocar em produção)

• Não é modelo de decisão treinado — sem RLCD, sem pointer head, sem adapter lançado com claim de paridade ao Jev.
• Shares de letras são scores de candidatos normalizados, não probabilidades calibradas.
• Out-of-scope / abstenção e campos dependentes favorecem geração JSON nos próprios resultados do autor.
• Não coloque isto numa shortlist de compra ao lado de Jev ou Decider.

Por que está no catálogo

Fecha um gap de documentação do S1Bench: o método “select-over-generate num LM congelado”, rotulado com clareza para o quadrante não confundir com peers treinados.