ENPT

Nimble v4 / v4-max

Última atualização:

Beta—$0.04/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade6.1/10

    API hospedada paga (POST /v1/systemone) com docs, quickstart, suporte ao SDK da TypeSafe, agent skill e crédito pré-pago. Pesos fechados, ao contrário dos LoRAs abertos Nimble 9B. O nimble-v4 está descontinuado e aponta para o v4-max. Sem SLA publicado.

  • Capability8.1/10

    Noul, choice (2–255 opções) e score, até 64 perguntas por requisição. Placar de API independente do JevBench: v4-max composite 66,2 (#14), Intelligence 68,2, Calibration 91, capability 79,7, p50 0,25 s. Fora do DI 0.3 e da AA. Sem ECE nem método de calibração.

  • Adoção3/100

    Thread de lançamento com 167 likes / 26 mil views (13/10). A linha aberta Nimble da Bespoke já tem vitrine no Ollama e ~1,9 mil stars no GitHub; o v4 ainda não tem usuários nomeados.

Vendor claims

Notícias sobre este modelo

Leia antes. São modelos só de API. Os LoRAs abertos Bespoke-Nimble-9B ficam em outra ficha. Os números da Bespoke são UnverifiedClaim: o post dá diferenças contra o Jev 1.13, não notas absolutas nem rodada no placar.

A Bespoke Labs anunciou o nimble-v4 e o nimble-v4-max em 13/10/2026. Pelas docs, os dois são chamados em POST https://api.bespokelabs.ai/v1/systemone, por HTTP ou pelo SDK Python da TypeSafe. nimble-latest aponta para o v4-max (ver preço abaixo). Cada requisição responde até 64 perguntas sobre um state.

Preço (docs): só entrada, saída grátis. nimble-v4-max e nimble-latest a US$ 0,04/M. O nimble-v4 está descontinuado e agora aponta para o nimble-v4-max, então custa o mesmo; o nimble-v3 está descontinuado. Contas novas ganham US$ 1 de crédito. (No lançamento, em 13/10, a página listava o v4 a US$ 0,04/M e o v4-max a US$ 0,09/M; a remedição do Benchmark Heaven de 16/10 registra o corte. Releímos a página de docs em 17/10.)

O que “#1” significaria. No placar do Decision Index 0.3 a parte pública do Jev é 57,96, então +10 deixaria o v4-max perto de 68, acima da maior nota pública atual (65,64). Nenhum dos dois está no placar do DI 0.3 (o Benchmark Heaven rodou o v4-max no placar de API do JevBench, que é outro placar; ver abaixo), e o post não diz qual edição do DI usou.

Resultado independente: placar de API do JevBench (Benchmark Heaven, board v1.7.46, conferido em 17/10/2026)

No placar de API (conjunto completo de 1.500 itens; est. US$ 0,0516 por 1.000 decisões nas duas linhas) o Bespoke Nimble-v4-max é #14 no composite (66,2), Intelligence 68,2, Calibration 91, capability 79,7 (terceiro por capability nesse placar, à frente dos 78,6 do Sage 1.3.0 e dos 77,1 do Jev 1.13.0), p50 bruto de 0,25 s. O composite é puxado para baixo sobretudo pelo custo (o termo de custo é o menor dos quatro), enquanto Intelligence (68,2), Calibration (91) e Speed (91) são todos sólidos (a Intelligence do kettei-fat é 80). Na mesma escala: kettei-fat 77,8, Sage 1.3.0 74,0, Jev 1.13.0 71,5, Jev 1.14.0 70,2. A linha antiga do Nimble-v4 fez 38,4 (#24; Intelligence 41,4, abaixo do portão do placar), medida antes de o v4 virar alias do v4-max; leia como histórico.

O que isso resolve e o que não resolve: é um placar de terceiro e não confirma a alegação do vendor de “#1 no Decision Index”, porque nenhum dos dois modelos Nimble está no Decision Index 0.3 nem no índice da Artificial Analysis. Os placares não se misturam.

Um bench da comunidade (não é placar oficial): S1Bench do @ItsCuthulhu (15/10/2026)

O @ItsCuthulhu publicou uma rodada dos dois modelos Nimble no próprio S1Bench (conferido em 17/10): seis suítes públicas (VitaminC, MASSIVE en-US, BoolQ, HelpSteer2, Aegis2, PAWS), 1.999 decisões por modelo, 0 erros, comparadas com os números publicados do Jev 1.13.0 nos mesmos subconjuntos. Lido dos dados da página em 17/10:

Modelo (como rotulado no bench) Acurácia macro Δ vs Jev 1.13.0 publicado (0,768) ECE Mediana por decisão
nimble-v4-max (“27B”) 0,783 +0,014 (p pareado = 0,52, não significativo) 0,024 0,84 s
nimble-v4 (“9B”) 0,764 −0,004 (p pareado = 0,04) 0,026 0,23 s

O post cita o Jev a 0,775 e uma diferença de +0,008 para o v4-max; a página ao vivo usa 0,768 de baseline do Jev e mostra +0,014. Mostramos os dois e não escolhemos. O argumento do autor é que a alegação de +10,5 sobre o Jev no Decision Index da Bespoke não aparece numa bateria diferente, e nesta a diferença do v4-max está dentro do ruído.

Como tratamos: é um bench independente e amador, com harness próprio, e não um dos placares oficiais (JevBench, Decision Index 0.3, Artificial Analysis); por isso não entra na conta das notas e não se mistura com eles. Os tamanhos (27B, 9B) são rótulos do bench; a Bespoke não os confirmou (UnverifiedClaim para tamanhos). A coluna de preço do bench também é do autor. A mediana de 0,84 s é mais lenta que os 0,25 s que o Benchmark Heaven mediu para o v4-max; os harnesses são diferentes e mostramos os dois. Em 17/10 o nimble-v4 é alias do nimble-v4-max, então a linha do 9B é histórico.

Conta das notas (17/10/2026, reavaliação)

  • Maturidade = disponibilidade 7 × 0,30 + docs 7 × 0,25 + integrações 5 × 0,25 + suporte 5 × 0,20 = 2,10 + 1,75 + 1,25 + 1,00 = 6,10 → 6,1 (inalterada)
  • Capability = tipos 9 × 0,30 + calibração 7 × 0,25 + latência 8 × 0,25 + acurácia 8 × 0,20 = 2,70 + 1,75 + 2,00 + 1,60 = 8,05 → 8,1 (era 6,35 → 6,4)
  • Adoção = engajamento 5 × 0,35 + ecossistema 3 × 0,35 + produção 1 × 0,30 = 1,75 + 1,05 + 0,30 = 3,10 → 3 (inalterada)

O que mudou: calibração 5 → 7 (eixo de calibração independente de 91, sem ECE nem método, mesmo tratamento do Sage); latência 4 → 8 (0,25 s medido pelo placar); acurácia 7 → 8 (resultado de placar independente, no lugar das diferenças do vendor). O corte de preço não entra na fórmula. A conta anterior, para registro: maturidade 6,10, capability 6,35 → 6,4, adoção 3,10 → 3 (13/10).