Bespoke-Nimble-9B

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

• Maturidade4/10

  Receita aberta surpreendentemente completa (dados/treino/serve/evals) pra um build de 1–2 dias; ainda LoRA de 1 epoch, sem SLA hosted, sem RLCD.

• Capability6/10

  Shape System One correto (choice / boolean / score via logits candidatos); perto do Jev no holdout do autor e na suite humana pública; calibração (ECE) mais fraca.

• Adoção12/100

  Buzz forte no X (~176k impressions) mas awareness D+1; ~161★ no GitHub e poucos downloads no HF — nicho cedo, não default da categoria.

Vendor claims

• ~100ms mediano em H100 num subset de scoring (timing do autor; não o holdout completo)[Claim do fornecedor — não verificado independentemente]
• Acurácia holdout 90.1% vs base Qwen 66.4% vs Jev 1.13 93.2% (set de 324 do autor)[Claim do fornecedor — não verificado independentemente]
• Suite pública com labels humanos ~74.8% vs Jev ~76.0% (reportado pelo autor)[Claim do fornecedor — não verificado independentemente]
• Não destilou do Jev — contrastive curation + LoRA só nos tokens de resposta[Claim do fornecedor — não verificado independentemente]

Bespoke-Nimble-9B não é um modelo frontier — é um LoRA adapter (PEFT r=16, ~165 MiB) em cima do Qwen3.5-9B, lançado pela Bespoke Labs como open data / open model / open recipe for an open Jev.

Dado texto + um schema flat, devolve respostas tipadas e probabilidades sobre os tokens permitidos. Não gera reasoning em prosa como output principal. Inspirado no System One / Jev da TypeSafe; os autores dizem que não destilaram do Jev.

O que é

• Adapter: bespokelabs/Bespoke-Nimble-9B (Apache-2.0; precisa da base Qwen/Qwen3.5-9B)
• Receita + scoring local: github.com/bespokelabsai/nimble
• Campos do schema: boolean, enum (≤26 choices), scores de rubrica como enum ordenado; retorna valor escolhido + probs por opção
• Destaque de método: contrastive data curation (muda um fato → negativo) + LoRA só nos tokens de resposta
• Launch: Mahesh Sathiamoorthy (@madiator) (18 set 2026)

Peers no catálogo: Kev (LoRA menor), Jev (referência hosted).

Limites (leia antes de shippar)

• Build de ~1–2 dias — arestas esperadas; protótipo de pesquisa, não produto hosted
• Máximo 26 choices por campo; prompts acima de 2.048 tokens são rejeitados
• Holdout do autor é sintético / checado por modelo (324 exemplos); a suite pública tem labels humanos, mas o wording dos criteria é parâmetro livre
• Probs são softmax sobre candidatos em temperatura 1.0 — não calibração temperature-tuned; ECE atrás do Jev na suite pública (docs do autor)
• Path merged no Mac precisa de muita RAM (~18 GB+ BF16); checks de qualidade enfatizam o path adapter CUDA
• Não use em decisões de produção que afetam pessoas sem o seu próprio eval rotulado

Por que está no catálogo

I/O de decisão tipada público, pesos + receita abertos, e framing System One explícito. No mapa ao lado do Kev como ponto open LoRA — com artifactKind: lora-adapter pra não fingir que é modelo frontier standalone.