ENPT

gutsy-0.8b

Última atualização:

Aberto—$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade5.4/10

    Arquivos GGUF Apache-2.0 (Q8_0 de 775 MB, Q4_K_M de 505 MB) que rodam em CPU via llama.cpp; README, model card, notas de release e um runtime com testes e POST /v1/systemone (funciona com o adapter typesafe do JevBench). Sem safetensors, sem pacote no PyPI. Um mantenedor, sem SLA.

  • Capability5.7/10

    JevBench oficial (17/10): Intelligence 8,6, calibração 77,5, p50 0,756 s. Sim/não, choice e score, cada um com rejeição. Só CPU: estados curtos abaixo de 1 s, mediana 4,3 s / p95 27 s na camada difícil.

  • Adoção2/100

    69 downloads e 2 likes no Hugging Face, 20 estrelas no GitHub, três Show HN do próprio autor em três dias (9, 1 e 3 pontos) e algumas respostas no X. Sem integrações ou uso em produção relatado.

Vendor claims

publicado (OK do Fabricio 17/10 BRT). Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

Leia antes

  1. Uma pessoa, todos os números em rodada própria. O 0,732 no JevBench é nos itens públicos com o harness do autor; não há resultado oficial no JevBench nem no Decision Index.
  2. A latência em CPU depende do tamanho. Estados curtos respondem em menos de um segundo; as políticas longas da camada difícil do JevBench levam mediana de 4,3 s e p95 de 27 s na máquina do autor. O card não dá p50 para requisições curtas, então o frontmatter deixa a latência em branco.
  3. A decisão é lida dos logits das letras. O modelo é um LM de chat ajustado que responde com a letra de uma opção; o runtime aplica softmax nos logits das letras. Os pesos foram treinados para isso, e é por isso que ele está no catálogo e não em (NOT)Models.

O gutsy-0.8b é um modelo de decisão aberto publicado no Hugging Face em 1º de outubro de 2026 por um desenvolvedor independente (kouhxp), com código no GitHub. O release atual é o v0.4 (2 de outubro). O alvo são máquinas sem GPU: o arquivo de referência é um GGUF Q8_0 de 775 MB servido pelo llama.cpp, e há um Q4_K_M de 505 MB que, segundo o autor, é 25–30% mais rápido com as mesmas notas no painel.

Especificações

Atributo Valor
Base Qwen/Qwen3.5-0.8B
Treino Fine-tune completo com embeddings congelados; entropia cruzada + 0,5 × Brier com rótulos suaves; ~105 mil perguntas, uma época, uma GPU de 80 GB por cerca de uma hora
Leitura da decisão Logits do próximo token para as letras A–P (mais Z = “nenhuma destas”), softmax só sobre essas letras; temperaturas por tipo ajustadas na validação
Tipos de pergunta sim/não, choice (até 255 opções via shortlist no runtime), score; probabilidade de reject em choice e score
Arquivos gutsy-0.8b-v04-q8_0.gguf (775 MB), gutsy-0.8b-v04-q4_k_m.gguf (505 MB), JSON de calibração por arquivo
Serviço gutsy-inference 0.4.0 (llama-cpp-python ≥ 0.3.35): POST /v1/systemone, POST /v1/decisions, /api/alpha/decisions; cache de estado
Contexto 8.192 tokens; só inglês
Licença Apache-2.0 (código e pesos)
Lançamento (v0.4: 2 de outubro)

Evidências (UnverifiedClaim)

Do README e do model card, tudo em rodada própria:

Métrica v0.3 v0.4 (Q8_0) v0.4 (Q4_K_M)
JevBench público, total (231) 167 (0,723) 169 (0,732) 161 (0,697)
Erro de calibração, fácil / original / difícil 0,023 / 0,122 / 0,078 0,022 / 0,107 / 0,137 0,019 / 0,137 / 0,125
BoolQ / SNLI / CommonsenseQA (700 cada; Jev 0,906 / 0,883 / 0,863) 0,850 / 0,879 / 0,587 0,837 / 0,870 / 0,577 —
BANKING77, as 77 intenções, zero-shot — 0,613 —

O autor lista os pontos fracos sem rodeio: aritmética de datas e números (temporal_numeric do JevBench 0,27), regulamentos novos de vários passos (long_policy 0,32), julgar pares de respostas parecidas (JudgeBench 0,54, abaixo do 0,60 do v0.3), conhecimento de mundo e calibração pior que a do v0.3 em itens difíceis e desconhecidos.

Quando usar / quando não usar

Usar: checagens locais e privadas de sim/não e roteamento num notebook ou servidor pequeno sem GPU; protótipos que já falam /v1/systemone; estados curtos.

Não usar: aritmética, datas e políticas longas; perguntas de conhecimento; qualquer caso sensível a latência com entradas longas em CPU; texto que não seja em inglês.

O gutsy ajusta todos os pesos do Qwen3.5-0.8B para decisão tipada (com termo de Brier e temperaturas ajustadas), publica tudo em Apache-2.0 com uma API tipada documentada e cobre os três tipos de decisão. Ler a resposta dos logits das letras é a forma de decodificar a decisão, não sinal de modelo congelado: a linha de (NOT)Models é “sem treino de decisão”, e o gutsy tem esse treino.

Auditoria dos placares (17/10/2026)

publicado (OK do Fabricio 17/10 BRT). Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar Linha Resultado
JevBench pesos abertos (ao vivo 17/10) Gutsy 0.8B v0.3 Capability 43,1; Intelligence 8,6; calibração 77,5; p50 0,756 s; US$ 0,0053/1k

Atualização da nota (auditoria, 17/10/2026). Capability 6,5 → 5,7 = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 10 × 0,30 + 7 × 0,25 + 3 × 0,25 + 1 × 0,20 = 5,70 → 5,7. Tipos, calibração e latência vêm da conta anterior (10 / 7 / 3); só a acurácia é refeita pelo placar (1; era 5): JevBench Intelligence 8,6 ÷ 63,6 × 8 = 1,1, arredondado para cima. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (kouhxp/gutsy): 447 downloads, 2 likes, tag de licença apache-2.0, última modificação 2026-10-05.