Decider-4B

Última atualização:

Aberto5–35ms$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade6.8/10

    Pesos abertos sob Apache-2.0, documentação completa no HF, compatível com a API da TypeSafe (POST /v1/systemone), docs de treino reproduzíveis, mapas de temperatura por tipo — a falta de SLA de produção o deixa abaixo das ofertas comerciais.

  • Capability7.3/10

    Placares oficiais (17/10): Decision Index 0.3.2 Full 40,33 (#94); JevBench Intelligence 40,1, calibração 89,6, p50 0,025 s.

  • Adoção24/100

    Herda o embalo da onda do decider-2b; o release v2.1 viralizou como primeiro modelo aberto a superar o Jev; ainda nicho fora dos builders focados em S1.

Vendor claims

Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

O Decider-4B é o primeiro modelo aberto a superar o Jev no JevBench — um modelo denso de 4,2B da Mapika sem etapa de reinforcement learning, que chega à posição #1 pela velocidade (92,9) e pela eficiência de custo (60,9), não pela inteligência bruta (49,4, contra notas de raciocínio mais altas do Jev).

Construído sobre o Qwen3.5-4B-Base (32 camadas, 8 de atenção completa + 24 de atenção linear gated delta-net), ele lê um estado compartilhado mais perguntas tipadas (choice, score, noul → boolean no catálogo) e devolve distribuições calibradas num único forward pass. O formato de wire mira o POST /v1/systemone da TypeSafe.

Desempenho no JevBench v1.4.2

Métrica Score Notas
Geral 64,13 Posição #1 — primeiro aberto a superar o Jev
Intelligence 49,4 Abaixo do Jev em raciocínio bruto
Calibration 75,0 Boa calibração de probabilidades
Speed 92,9 5,2 ms com CUDA graphs
Cost ~60,9 ~US$ 0,03 / mil decisões

Como ganhou: o Decider-4B supera o Jev no score composto do JevBench por ser muito mais rápido e barato de rodar, não por ser mais inteligente. Nos itens difíceis de raciocínio o Jev ainda lidera — mas, em cargas de produção em que velocidade e custo importam, o Decider-4B é uma alternativa aberta convincente.

Especificações

Atributo Valor
Modelo base Qwen/Qwen3.5-4B-Base
Parâmetros 4,2B (denso)
Arquitetura 32 camadas: 8 de atenção completa + 24 de atenção linear gated delta-net
Pesos 8,4 GB bf16
Versão atual v2.1 (24/09/2026)
Licença Apache-2.0
Etapa 1 Cross-entropy na mistura v2 (742M tokens)
Etapa 2 LoRA rank 64 + 29.325 decisões mais difíceis (fundido)
Etapa de RL Nenhuma (diferente do decider-2b)
Latência 5,2 ms (CUDA graphs) / 32 ms (eager) numa B300
API POST /v1/systemone (compatível com a TypeSafe)
Tipos de decisão choice, score, noul → boolean

Treino (duas etapas, sem RL)

Etapa 1 (v1): uma passada supervisionada sobre a mistura v2 — ~95 datasets públicos de decisão, trajetórias de agente, Mind2Web, 26 datasets públicos adicionais e 10 famílias programáticas com gabarito verificável. 1,89M de itens, 742M de tokens. AdamW direto nos parâmetros bf16 (sem cópia mestre em FP32 — isso preserva mais conhecimento do modelo base).

Etapa 2 (v2.1): LoRA rank 64 (alpha 128) nos pesos de atenção e MLP, 2 épocas sobre 29.325 linhas de decisões mais difíceis. Inovação principal: linhas de replay treinadas em direção à distribuição de respostas da própria v1 (loss de divergência KL), não a rótulos rígidos. Isso preserva o desempenho em jogo amostrado que a v2 tinha perdido. Fundido nos pesos bf16 depois do treino.

Sem etapa de reinforcement learning — diferente do decider-2b, o modelo de 4B pula o RLCD por completo e mesmo assim chega aos melhores scores do JevBench com treino supervisionado eficiente.

A família Decider

Modelo Base Pesos Caso de uso
decider-0.8b Qwen3.5-0.8B 1,4 GB O menor: roteamento, sim/não, consultas a estados curtos
decider-2b Qwen3.5-2B 3,8 GB Padrão: roteamento, classificação, agentes de navegador
decider-4b (este) Qwen3.5-4B 8,4 GB Ponto intermediário: julgamentos mais difíceis, sem etapa de RL
decider-35b-a3b Qwen3.5-35B-A3B (3B ativos) 65 GB Quando a acurácia vale 3–4× o custo
decider-2b-vision Qwen3.5-2B VL 4,1 GB Decisões a partir de imagens

Todos compartilham uma interface (decider.infer.Decider, POST /v1/systemone) e um mecanismo de readout.

Uso

from decider.infer import Decider
d = Decider("Mapika/decider-4b")

d.decide(
    "My card was charged twice for the same purchase.",
    [
        {"question": "Which department should handle this?",
         "options": ["billing", "technical support", "sales"]},
        {"question": "Does this need a refund action?",
         "options": ["no", "yes"]}
    ]
)
# [{'choice': 'billing', 'confidence': ..., 'probs': {...}},
#  {'choice': 'yes', 'confidence': ..., 'probs': {...}}]

Requisitos: torch, transformers>=5, flash-linear-attention (kernels Triton para as camadas de atenção linear do Qwen3.5). As temperaturas por tipo exigem decider-ai 1.4.0 ou mais recente.

Histórico de versões

Versão Data Mudanças
v2.1 24/09/2026 Replay treinado em direção à distribuição da v1; mapa de temperatura por tipo
v2 24/09/2026 LoRA da etapa 2 em decisões mais difíceis; melhor em julgamentos difíceis, pior em jogo amostrado
v1 22/09/2026 Primeiro release: mistura v2 sobre o Qwen3.5-4B-Base

Qual versão usar:

  • v2.1 (padrão): jogo amostrado, jogos, agentes de navegador, decisões difíceis
  • v2: se você precisa de confiança mais bem calibrada em itens difíceis de vários passos
  • v1: preenchimento de formulários, navegação BabyAI-GoTo, jogo greedy de bag-draw

Limitações

  1. Sem etapa de RL: as crenças declaradas sobre resultados de ações não foram treinadas contra leis exatas. Em tarefas de navegador ao vivo a v2.1 faz 93,2% amostrado; o decider-2b v10 com RL faz 93,2%, mas 91,7% em tarefas held-out.

  2. Confiante demais em itens difíceis: erro de calibração de 0,147 em famílias geradas held-out (v2: 0,046) e 0,184 no tier hard do JevBench (v2: 0,104). Não leia confiança de 0,8 como 80% de acurácia em perguntas difíceis.

  3. Regressões conhecidas vs v1: o caso de formulário da issue #9 continua errado; BabyAI-GoTo 0,19 vs 0,54 da v1; bag-draw greedy 9,4 pontos abaixo da v1.

  4. Abaixo do 35B: 2,4/2,6 pontos abaixo do decider-35b-a3b no conjunto de regressão; 2,7 pontos no tier hard do JevBench.

  5. Centrado em inglês: as linhas multilíngues (XNLI, PAWS-X, MASSIVE, Belebele, XCOPA) são uma parte pequena dos dados de treino.

  6. Cache de schema desativado: o LoRA da v2.1 foi treinado só no layout simples, com o estado primeiro. DECIDER_SCHEMA_CACHE=1 não ativa para este modelo.

  7. Temperaturas por tipo exigem a 1.4.0: versões antigas do decider-ai usam temperatura global de 1,099 para todas as respostas (mesmo argmax, probabilidades diferentes).

Resumo da avaliação (v2.1)

Benchmark Resultado
Conjunto de regressão (in-task / held-out) 0,831 / 0,784
JevBench público (easy / standard / hard) 1,000 / 0,986 / 0,649
MiniWoB++ ao vivo (amostrado / greedy) 93,2% / 93,8%
Suíte Bespoke (macro / micro) 0,756 / 0,765
Jogos zero-shot (taxa de vitória amostrada) 26,9%
CliffWalking −13 (ótimo do professor)

As tabelas completas de avaliação, com intervalos de confiança, estão no model card no HuggingFace.

Auditoria dos placares (17/10/2026)

Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar Linha Resultado
Decision Index 0.3.2 (16 out 19:00 UTC) Decider 4B Full 40,33 (#94, grupo de empate 23); público 41,19 (#93); same-skills 37,19; new-domains 40,4
JevBench pesos abertos (ao vivo 17/10) decider-4b v2 Capability 64,9; Intelligence 40,1; calibração 89,6; p50 0,025 s; US$ 0,015/1k

Atualização da nota (auditoria, 17/10/2026). Capability 8,2 → 7,3, primeira conta completa (a nota anterior não tinha detalhamento guardado) = tipos 10 × 0,30 + calibração 6 × 0,25 + latência 7 × 0,25 + acurácia 5 × 0,20 = 7,25 → 7,3. Tipos vêm de decisionTypes; calibração do eixo do JevBench 89,6 (≥90 → 7, 85–89,9 → 6, 75–84,9 → 5, 60–74,9 → 4, abaixo de 60 → 3; sem ECE do autor); latência do p50 self-hosted do placar 0,025 s, sem p99 (≤0,25 s → 7, ≤0,5 s → 6, ≤1 s → 5, acima → 3); acurácia Decision Index Full 40,33 ÷ 60,11 × 8 = 5,4, arredondado para cima. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (Mapika/decider-4b): 29.432 downloads, 29 likes, tag de licença apache-2.0, última modificação 2026-10-12.

Não é o Decider-4B da roudone (21/10/2026)

Esta ficha é o Decider-4B da Mapika. Outro modelo com o mesmo nome, o roudone/Decider-4B (“BankJev”, Apache-2.0, cabeça pointer no estilo NeoHorse, publicado em 15/10), aparece no JevBench de pesos abertos (Capability 56,8, Intelligence 27,1, v1.6.36). Essas linhas não são deste modelo e não entram nas notas.