Decider-4B
Notas do quadrante
Ver o quadrante completoPontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.
- Maturidade6.8/10
Pesos abertos sob Apache-2.0, documentação completa no HF, compatível com a API da TypeSafe (POST /v1/systemone), docs de treino reproduzíveis, mapas de temperatura por tipo — a falta de SLA de produção o deixa abaixo das ofertas comerciais.
- Capability7.3/10
Placares oficiais (17/10): Decision Index 0.3.2 Full 40,33 (#94); JevBench Intelligence 40,1, calibração 89,6, p50 0,025 s.
- Adoção24/100
Herda o embalo da onda do decider-2b; o release v2.1 viralizou como primeiro modelo aberto a superar o Jev; ainda nicho fora dos builders focados em S1.
Vendor claims
- Conjunto de regressão: acurácia de 0,831 in-task / 0,784 held-out[Claim do fornecedor — não verificado independentemente]
- MiniWoB++ ao vivo: 93,2% de sucesso amostrado (v2.1)[Claim do fornecedor — não verificado independentemente]
- Latência de 5,2 ms com CUDA graphs numa B300[Claim do fornecedor — não verificado independentemente]
- Formato de wire da TypeSafe POST /v1/systemone; noul corresponde a boolean no catálogo[Claim do fornecedor — não verificado independentemente]
Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.
O Decider-4B é o primeiro modelo aberto a superar o Jev no JevBench — um modelo denso de 4,2B da Mapika sem etapa de reinforcement learning, que chega à posição #1 pela velocidade (92,9) e pela eficiência de custo (60,9), não pela inteligência bruta (49,4, contra notas de raciocínio mais altas do Jev).
Construído sobre o Qwen3.5-4B-Base (32 camadas, 8 de atenção completa + 24 de atenção linear gated delta-net), ele lê um estado compartilhado mais perguntas tipadas (choice, score, noul → boolean no catálogo) e devolve distribuições calibradas num único forward pass. O formato de wire mira o POST /v1/systemone da TypeSafe.
Desempenho no JevBench v1.4.2
| Métrica | Score | Notas |
|---|---|---|
| Geral | 64,13 | Posição #1 — primeiro aberto a superar o Jev |
| Intelligence | 49,4 | Abaixo do Jev em raciocínio bruto |
| Calibration | 75,0 | Boa calibração de probabilidades |
| Speed | 92,9 | 5,2 ms com CUDA graphs |
| Cost | ~60,9 | ~US$ 0,03 / mil decisões |
Como ganhou: o Decider-4B supera o Jev no score composto do JevBench por ser muito mais rápido e barato de rodar, não por ser mais inteligente. Nos itens difíceis de raciocínio o Jev ainda lidera — mas, em cargas de produção em que velocidade e custo importam, o Decider-4B é uma alternativa aberta convincente.
Especificações
| Atributo | Valor |
|---|---|
| Modelo base | Qwen/Qwen3.5-4B-Base |
| Parâmetros | 4,2B (denso) |
| Arquitetura | 32 camadas: 8 de atenção completa + 24 de atenção linear gated delta-net |
| Pesos | 8,4 GB bf16 |
| Versão atual | v2.1 (24/09/2026) |
| Licença | Apache-2.0 |
| Etapa 1 | Cross-entropy na mistura v2 (742M tokens) |
| Etapa 2 | LoRA rank 64 + 29.325 decisões mais difíceis (fundido) |
| Etapa de RL | Nenhuma (diferente do decider-2b) |
| Latência | 5,2 ms (CUDA graphs) / 32 ms (eager) numa B300 |
| API | POST /v1/systemone (compatível com a TypeSafe) |
| Tipos de decisão | choice, score, noul → boolean |
Treino (duas etapas, sem RL)
Etapa 1 (v1): uma passada supervisionada sobre a mistura v2 — ~95 datasets públicos de decisão, trajetórias de agente, Mind2Web, 26 datasets públicos adicionais e 10 famílias programáticas com gabarito verificável. 1,89M de itens, 742M de tokens. AdamW direto nos parâmetros bf16 (sem cópia mestre em FP32 — isso preserva mais conhecimento do modelo base).
Etapa 2 (v2.1): LoRA rank 64 (alpha 128) nos pesos de atenção e MLP, 2 épocas sobre 29.325 linhas de decisões mais difíceis. Inovação principal: linhas de replay treinadas em direção à distribuição de respostas da própria v1 (loss de divergência KL), não a rótulos rígidos. Isso preserva o desempenho em jogo amostrado que a v2 tinha perdido. Fundido nos pesos bf16 depois do treino.
Sem etapa de reinforcement learning — diferente do decider-2b, o modelo de 4B pula o RLCD por completo e mesmo assim chega aos melhores scores do JevBench com treino supervisionado eficiente.
A família Decider
| Modelo | Base | Pesos | Caso de uso |
|---|---|---|---|
| decider-0.8b | Qwen3.5-0.8B | 1,4 GB | O menor: roteamento, sim/não, consultas a estados curtos |
| decider-2b | Qwen3.5-2B | 3,8 GB | Padrão: roteamento, classificação, agentes de navegador |
| decider-4b (este) | Qwen3.5-4B | 8,4 GB | Ponto intermediário: julgamentos mais difíceis, sem etapa de RL |
| decider-35b-a3b | Qwen3.5-35B-A3B (3B ativos) | 65 GB | Quando a acurácia vale 3–4× o custo |
| decider-2b-vision | Qwen3.5-2B VL | 4,1 GB | Decisões a partir de imagens |
Todos compartilham uma interface (decider.infer.Decider, POST /v1/systemone) e um mecanismo de readout.
Uso
from decider.infer import Decider
d = Decider("Mapika/decider-4b")
d.decide(
"My card was charged twice for the same purchase.",
[
{"question": "Which department should handle this?",
"options": ["billing", "technical support", "sales"]},
{"question": "Does this need a refund action?",
"options": ["no", "yes"]}
]
)
# [{'choice': 'billing', 'confidence': ..., 'probs': {...}},
# {'choice': 'yes', 'confidence': ..., 'probs': {...}}]
Requisitos: torch, transformers>=5, flash-linear-attention (kernels Triton para as camadas de atenção linear do Qwen3.5). As temperaturas por tipo exigem decider-ai 1.4.0 ou mais recente.
Histórico de versões
| Versão | Data | Mudanças |
|---|---|---|
| v2.1 | 24/09/2026 | Replay treinado em direção à distribuição da v1; mapa de temperatura por tipo |
| v2 | 24/09/2026 | LoRA da etapa 2 em decisões mais difíceis; melhor em julgamentos difíceis, pior em jogo amostrado |
| v1 | 22/09/2026 | Primeiro release: mistura v2 sobre o Qwen3.5-4B-Base |
Qual versão usar:
- v2.1 (padrão): jogo amostrado, jogos, agentes de navegador, decisões difíceis
- v2: se você precisa de confiança mais bem calibrada em itens difíceis de vários passos
- v1: preenchimento de formulários, navegação BabyAI-GoTo, jogo greedy de bag-draw
Limitações
-
Sem etapa de RL: as crenças declaradas sobre resultados de ações não foram treinadas contra leis exatas. Em tarefas de navegador ao vivo a v2.1 faz 93,2% amostrado; o decider-2b v10 com RL faz 93,2%, mas 91,7% em tarefas held-out.
-
Confiante demais em itens difíceis: erro de calibração de 0,147 em famílias geradas held-out (v2: 0,046) e 0,184 no tier hard do JevBench (v2: 0,104). Não leia confiança de 0,8 como 80% de acurácia em perguntas difíceis.
-
Regressões conhecidas vs v1: o caso de formulário da issue #9 continua errado; BabyAI-GoTo 0,19 vs 0,54 da v1; bag-draw greedy 9,4 pontos abaixo da v1.
-
Abaixo do 35B: 2,4/2,6 pontos abaixo do decider-35b-a3b no conjunto de regressão; 2,7 pontos no tier hard do JevBench.
-
Centrado em inglês: as linhas multilíngues (XNLI, PAWS-X, MASSIVE, Belebele, XCOPA) são uma parte pequena dos dados de treino.
-
Cache de schema desativado: o LoRA da v2.1 foi treinado só no layout simples, com o estado primeiro.
DECIDER_SCHEMA_CACHE=1não ativa para este modelo. -
Temperaturas por tipo exigem a 1.4.0: versões antigas do
decider-aiusam temperatura global de 1,099 para todas as respostas (mesmo argmax, probabilidades diferentes).
Resumo da avaliação (v2.1)
| Benchmark | Resultado |
|---|---|
| Conjunto de regressão (in-task / held-out) | 0,831 / 0,784 |
| JevBench público (easy / standard / hard) | 1,000 / 0,986 / 0,649 |
| MiniWoB++ ao vivo (amostrado / greedy) | 93,2% / 93,8% |
| Suíte Bespoke (macro / micro) | 0,756 / 0,765 |
| Jogos zero-shot (taxa de vitória amostrada) | 26,9% |
| CliffWalking | −13 (ótimo do professor) |
As tabelas completas de avaliação, com intervalos de confiança, estão no model card no HuggingFace.
Auditoria dos placares (17/10/2026)
Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.
| Placar | Linha | Resultado |
|---|---|---|
| Decision Index 0.3.2 (16 out 19:00 UTC) | Decider 4B | Full 40,33 (#94, grupo de empate 23); público 41,19 (#93); same-skills 37,19; new-domains 40,4 |
| JevBench pesos abertos (ao vivo 17/10) | decider-4b v2 | Capability 64,9; Intelligence 40,1; calibração 89,6; p50 0,025 s; US$ 0,015/1k |
Atualização da nota (auditoria, 17/10/2026). Capability 8,2 → 7,3, primeira conta completa (a nota anterior não tinha detalhamento guardado) = tipos 10 × 0,30 + calibração 6 × 0,25 + latência 7 × 0,25 + acurácia 5 × 0,20 = 7,25 → 7,3. Tipos vêm de decisionTypes; calibração do eixo do JevBench 89,6 (≥90 → 7, 85–89,9 → 6, 75–84,9 → 5, 60–74,9 → 4, abaixo de 60 → 3; sem ECE do autor); latência do p50 self-hosted do placar 0,025 s, sem p99 (≤0,25 s → 7, ≤0,5 s → 6, ≤1 s → 5, acima → 3); acurácia Decision Index Full 40,33 ÷ 60,11 × 8 = 5,4, arredondado para cima. Maturidade e adoção inalteradas.
Hugging Face em 17/10 (Mapika/decider-4b): 29.432 downloads, 29 likes, tag de licença apache-2.0, última modificação 2026-10-12.
Não é o Decider-4B da roudone (21/10/2026)
Esta ficha é o Decider-4B da Mapika. Outro modelo com o mesmo nome, o roudone/Decider-4B (“BankJev”, Apache-2.0, cabeça pointer no estilo NeoHorse, publicado em 15/10), aparece no JevBench de pesos abertos (Capability 56,8, Intelligence 27,1, v1.6.36). Essas linhas não são deste modelo e não entram nas notas.
Links
- Mapika/decider-4b no HuggingFace
- GitHub: Mapika/decider
- Decider-2B — o irmão de 2B com etapa de RL
- Jev — o modelo comercial da TypeSafe que ele supera no JevBench
- JevBench — o benchmark em que chegou à posição #1
