Bespoke-Nimble-9B

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

• Maturidade4.5/10

  Receita aberta completa (data/train/serve/evals). Desde 30/09/2026 também sai com um comando, ollama pull nimble, atrás do endpoint /v1/systemone nativo do Ollama. Ainda LoRA de uma época, sem SLA hospedado, sem RLCD.

• Capability6.8/10

  JevBench oficial (17/10): Bespoke Nimble 9B Intelligence 43,1, calibração 69,9, p50 0,145 s; a v3 tem Decision Index Full 54,67 (#49). Choice / boolean / score por logits de candidatos; perto do Jev no holdout do autor, ECE mais fraco.

• Adoção23/100

  ~1,9 mil★ no GitHub, 213 likes / ~3,7 mil downloads no HF e modelo-vitrine do /v1/systemone do Ollama (~2,7 mil pulls nas primeiras ~14h; post de lançamento com 234 mil views). Adoção de nicho crescendo, ainda não é o padrão da categoria.

Vendor claims

• ~100ms mediano em H100 num subset de scoring (timing do autor; não o holdout completo)[Claim do fornecedor — não verificado independentemente]
• Acurácia holdout 90.1% vs base Qwen 66.4% vs Jev 1.13 93.2% (set de 324 do autor)[Claim do fornecedor — não verificado independentemente]
• Suite pública com labels humanos ~74.8% vs Jev ~76.0% (reportado pelo autor)[Claim do fornecedor — não verificado independentemente]
• Nimble 9B fez em média 91ms por decisão rodando local num MacBook Pro M5 Max (demo de Pac-Man do Ollama)[Claim do fornecedor — não verificado independentemente]
• 75,7% de acurácia média nos 13 datasets públicos com rótulo humano da Bespoke, rodado no Ollama, vs Jev 1.13 76,0% (rodada da Bespoke)[Claim do fornecedor — não verificado independentemente]
• Não destilou do Jev — contrastive curation + LoRA só nos tokens de resposta[Claim do fornecedor — não verificado independentemente]
• Bespoke-Nimble-9B-v3 (LoRA, CC BY-NC-4.0) marca 56,88 no Decision Index 0.2.1 (rodada da própria Bespoke; fora do board oficial)[Claim do fornecedor — não verificado independentemente]

Notícias sobre este modelo

• Bespoke Labs lança o Nimble V3, LoRA com Decision Index de 56,88 (claim) e licença não comercial
• Ollama ganha endpoint /v1/systemone local e três modelos de decisão no estilo Jev
• Bespoke Nimble adiciona suporte a imagens — LoRA aberto agora multimodal

publicado (OK do Fabricio 17/10 BRT). Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

Bespoke-Nimble-9B não é um modelo frontier — é um LoRA adapter (PEFT r=16, ~165 MiB) em cima do Qwen3.5-9B, lançado pela Bespoke Labs como open data / open model / open recipe for an open Jev.

Dado texto + um schema flat, devolve respostas tipadas e probabilidades sobre os tokens permitidos. Não gera reasoning em prosa como output principal. Inspirado no System One / Jev da TypeSafe; os autores dizem que não destilaram do Jev.

O que é

• Adapter: bespokelabs/Bespoke-Nimble-9B (Apache-2.0; precisa da base Qwen/Qwen3.5-9B)
• Receita + scoring local: github.com/bespokelabsai/nimble
• Campos do schema: boolean, enum (≤26 choices), scores de rubrica como enum ordenado; retorna valor escolhido + probs por opção
• Destaque de método: contrastive data curation (muda um fato → negativo) + LoRA só nos tokens de resposta
• Launch: Mahesh Sathiamoorthy (@madiator) (18 set 2026)

Peers no catálogo: Kev (LoRA menor), Jev (referência hosted).

Limites (leia antes de shippar)

• Build de ~1–2 dias — arestas esperadas; protótipo de pesquisa, não produto hosted
• Máximo 26 choices por campo; prompts acima de 2.048 tokens são rejeitados
• Holdout do autor é sintético / checado por modelo (324 exemplos); a suite pública tem labels humanos, mas o wording dos criteria é parâmetro livre
• Probs são softmax sobre candidatos em temperatura 1.0 — não calibração temperature-tuned; ECE atrás do Jev na suite pública (docs do autor)
• Path merged no Mac precisa de muita RAM (~18 GB+ BF16); checks de qualidade enfatizam o path adapter CUDA
• Não use em decisões de produção que afetam pessoas sem o seu próprio eval rotulado

Suporte a imagens (19 set 2026)

Em 19 de setembro, o autor @madiator anunciou que Nimble agora processa imagens. Uma demo mostrou o modelo contando corretamente quartos e banheiros numa planta baixa confusa onde o Qwen base errou. O autor notou que o Jev não tem suporte multimodal.

UnverifiedClaim: Demo de contagem em imagem (1 exemplo de floor plan); nenhum benchmark multimodal publicado ainda. (fonte)

Isso faz do Nimble um dos poucos adapters open System One com input de imagem. O mecanismo (path do vision encoder) não está detalhado na demo; verificar no repo para implementação.

Rodando no Ollama (30/09/2026)

O Nimble é o modelo-vitrine do suporte nativo do Ollama a modelos de decisão. Com Ollama 0.35 ou mais novo:

ollama pull nimble

O Ollama distribui o modelo já mesclado, com 9,5 GB (“fine-tuned from Qwen3.5-9B”, Apache-2.0), então não é preciso carregar o Qwen base e o adapter separados. As requisições vão para http://localhost:11434/v1/systemone no formato da TypeSafe, e o SDK oficial da TypeSafe em Python funciona contra ele. O endpoint aceita até 64 perguntas por requisição e de 2 a 26 opções por pergunta. O campo confidence mede quão concentrada está a distribuição; não é probabilidade calibrada de acerto.

UnverifiedClaim: o Ollama diz que o Nimble “averaged 91ms per decision” numa demo de Pac-Man num MacBook Pro M5 Max, e reporta 75,7% de acurácia média nos 13 datasets públicos com rótulo humano da Bespoke (3.880 decisões), contra 76,0% do Jev 1.13 (número do Jev tirado da rodada publicada pela Bespoke). (blog · library · news)

Nimble V3 (30/09/2026): licença não comercial

O Bespoke-Nimble-9B-v3 (publicado primeiro como bespokelabs/Nimble-V3 e renomeado depois; a URL antiga redireciona) é um adapter LoRA novo sobre o Qwen3.5-9B para perguntas tipadas de escolha e sim/não. A Bespoke reporta Decision Index 0.2.1 = 56,88, com a rodada, o código de inferência e as instruções em bespoke-nimble-9b-v3-decision-index. UnverifiedClaim: a rodada é da própria Bespoke, e o V3 não estava no board oficial do Decision Index na nossa checagem de 02/10/2026.

A licença mudou. O V3 é CC BY-NC-4.0: uso comercial proibido. O Bespoke-Nimble-9B original, o v2 (23/09) e o nimble do Ollama seguem Apache-2.0. Para uso comercial, fique neles ou peça uma licença à parte para a Bespoke. O V3 é nota de família nesta ficha, não um segundo ponto no quadrante; os scores acima continuam descrevendo a linha Apache-2.0. Ver news.

Nimble v4 (13/10/2026): só API

Os modelos mais novos da Bespoke, nimble-v4 e nimble-v4-max, são fechados e hospedados, então têm ficha própria: Nimble v4. O nimble-v3 aparece como descontinuado na API da Bespoke. Esta ficha segue pontuando os LoRAs abertos de 9B.

Por que está no catálogo

I/O de decisão tipada público, pesos + receita abertos, e framing System One explícito. No mapa ao lado do Kev como ponto open LoRA — com artifactKind: lora-adapter pra não fingir que é modelo frontier standalone.

Auditoria dos placares (17/10/2026)

publicado (OK do Fabricio 17/10 BRT). Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar	Linha	Resultado
Decision Index 0.3.2 (16 out 19:00 UTC)	Bespoke Nimble 9B v3	Full 54,67 (#49, grupo de empate 11); público 57,19 (#46); same-skills 52,34; new-domains 49,05
Decision Index 0.3.2 (16 out 19:00 UTC)	Bespoke Nimble 9B v2	Full 40,95 (#92, grupo de empate 22); público 39,9 (#99); same-skills 39,51; new-domains 39,68
JevBench pesos abertos (ao vivo 17/10)	Bespoke Nimble 9B v3	Capability 66,8; Intelligence 56,5; calibração 77,0; p50 0,094 s; US$ 0,063/1k
JevBench pesos abertos (ao vivo 17/10)	Bespoke Nimble 9B	Capability 56,5; Intelligence 43,1; calibração 69,9; p50 0,145 s; US$ 0,13/1k

Afirmações de status de placar nesta página para reconferir com a tabela (podem estar superadas):

• “A Bespoke reporta Decision Index 0.2.1 = 56,88, com a rodada, o código de inferência e as instruções em bespoke-nimble-9b-v3-decision-index.”
• “UnverifiedClaim: a rodada é da própria Bespoke, e o V3 não estava no board oficial do Decision Index na nossa checagem de 02/10/2026.”

Proposta de nota (conta do zero, desdobramento da auditoria de 17/10/2026; publicado (OK do Fabricio 17/10 BRT)). Capability 5,0 → 6,8 = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 10 × 0,30 + 4 × 0,25 + 7 × 0,25 + 5 × 0,20 = 6,75 → 6,8. Tipos 10 (choice + score + boolean). Calibração 4: eixo do JevBench 69,9 para o Bespoke Nimble 9B (60–74,9 → 4); o autor admite ECE mais fraco. Latência 7: p50 do placar 0,145 s (≤0,25 s → 7), sem p99. Acurácia 5: o Decision Index não tem linha para este adaptador v1 (lista v2 e v3), então Intelligence 43,1 do JevBench ÷ 63,6 × 8 = 5,4 → 5. A linha da v3 (Full 54,67, acurácia 7) não vale para esta página v1; texto de família: o placar lista Nimble 9B v2 (Full 40,95, #92) e v3 (54,67, #49), e a v4 tem página própria. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (bespokelabs/Bespoke-Nimble-9B-v3): 531 downloads, 13 likes, tag de licença cc-by-nc-4.0, última modificação 2026-09-30.