Torchcast Decision 12B
Notas do quadrante
Ver o quadrante completoPontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.
- Maturidade5.3/10
Pesos abertos, mas CC BY-NC 4.0 (não comercial). Card detalhado, tag v1.0.0 fixa, hash dos pesos, repo de serving com manifestos das rodadas, /v1/systemone sobre vLLM 0.30.0. GGUF da comunidade. Empresa pequena, sem SLA.
- Capability8.1/10
JevBench oficial (17/10): Intelligence 60,5, calibração 82,9, p50 0,037 s. Noul / Choice / Score por leitura de logprob das letras.
- Adoção3/100
~370 downloads / 2 likes nos pesos; um GGUF da comunidade tem ~8,6 mil downloads. Sem post de lançamento, integrações ou usuários de produção.
Vendor claims
- Conjunto público do JevBench v1.4: 203/231 (87,88%), rodada do autor, não é score oficial; resultados públicos influenciaram a escolha do checkpoint e do serving[Claim do fornecedor — não verificado independentemente]
- Latência serial 30 ms p50 / 43 ms p95 numa H100 (itens easy + original); não é a medição oficial de Speed[Claim do fornecedor — não verificado independentemente]
publicado (OK do Fabricio 17/10 BRT). Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.
Leia antes
- Não comercial. Os pesos são CC BY-NC 4.0, e o card diz que a licença “não garante a liberação de todos os direitos das fontes de treino”. A política de uso proibido do Gemma também vale. O código de serving é MIT.
- Os 87,88% não são held-out. Resultados públicos do JevBench foram usados para escolher checkpoint e configuração de serving. O número independente é o do Benchmark Heaven.
- Construído sobre Cygnet e NInfer. A base de serving e readout vem do Cygnet e do NInfer; os pesos são um fine-tune LoRA de verdade, ao contrário da base congelada do Cygnet.
O que é
Fine-tune LoRA do Gemma-4-12B-it feito pela Torchcast AI, treinado numa mistura 50/50 de rótulos gold e distribuições de opções de um modelo instruct maior (não saídas do Jev). Cada decisão é um forward pass que lê as letras das opções na posição da resposta. As temperaturas por tipo ficam em readout_config.json (Choice e Score 1,0, Noul 0,2).
Specs
| Atributo | Valor |
|---|---|
| Pesos | torchcast-ai/torchcast-decision-12b, tag v1.0.0, 12,0B params |
| Licença | CC BY-NC 4.0 (pesos); MIT (código de serving) |
| Publicação | |
| Serving | POST /v1/systemone, vLLM 0.30.0, BF16, uma H100 80 GB (também L40S 48 GB) |
| Contexto | 16.384 tokens incluindo o request renderizado (HTTP 422 acima disso) |
| Idioma | Inglês |
| Irmão | torchcast-decision-27b (CC BY-NC, base StartLux-Decision-27B): grupo do rank 2 no Decision Index 0.3 (59,91), capability 81,6 no JevBench mas fora do Jev-class (custo 6,5×) |
JevBench v1.6.1 (conferido em 7/10/2026)
Placar de pesos abertos: composite 69,9 (#2), IC 95% 67,2–71,5. Intelligence 60,5, Calibration 82,9, Speed 91,7, Cost 56,4. Capability 71,7 (#5). US$ 0,028 por 1.000 decisões (0,88× o Jev), p50 bruto 0,22 s. Não aparece no Decision Index 0.3.
Fit / anti-fit
Serve quando você precisa: um modelo de decisão aberto de 12B para pesquisa ou uso interno não comercial, numa GPU, com receita de serving reproduzível.
Não serve quando você precisa: uso comercial, input em outra língua que não inglês, mais de 16K tokens, ou calibração forte em perguntas sim/não.
Por que está no catálogo
Pesos treinados para decisão com interface tipada /v1/systemone, readout e temperaturas documentados, e o #2 de um placar independente. A licença limita ao uso não comercial, e isso aparece na maturidade.
Conta das notas (7/10/2026)
- Maturidade = disp. 6 × 0,30 + docs 8 × 0,25 + integr. 5 × 0,25 + suporte 1 × 0,20 = 1,80 + 2,00 + 1,25 + 0,20 = 5,25 → 5,3
- Capability = tipos 10 × 0,30 + calib. 6 × 0,25 + latência 8 × 0,25 + acurácia 8 × 0,20 = 3,00 + 1,50 + 2,00 + 1,60 = 8,10 → 8,1
- Adoção = engaj. 3 × 0,35 + ecossistema 5 × 0,35 + produção 0 × 0,30 = 1,05 + 1,75 + 0,00 = 2,80 → 3
Disponibilidade fica em 6, não 8, pela licença não comercial. Calibração fica em 6: o método está documentado, mas o eixo de calibração do placar (82,9) está entre os mais baixos do top 10.
Torchcast Decision 4B v1.1 (12/10/2026)
O torchcast-decision-4b é um modelo de decisão com pesos completos sobre o Qwen3.5-4B (servido como torchcast-decision-4b-v1.1), com API compatível com a TypeSafe e a mesma leitura por letra de opção; listas com mais de 26 opções levam algumas passadas. Prompts acima de 16.384 tokens mantêm o começo e o fim do state. Pesos CC BY-NC 4.0 (não comercial); o pacote de serving é Apache-2.0 e a base Qwen mantém o aviso Apache-2.0. O card não publica números de acurácia, e o modelo não está no JevBench v1.6.x nem no Decision Index 0.3 (o placar lista o Torchcast Decision 27B com 59,91). Notas desta ficha inalteradas.
Auditoria dos placares (17/10/2026)
publicado (OK do Fabricio 17/10 BRT). Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.
| Placar | Linha | Resultado |
|---|---|---|
| JevBench pesos abertos (ao vivo 17/10) | torchcast-decision-12b | Capability 71,7; Intelligence 60,5; calibração 82,9; p50 0,037 s; US$ 0,028/1k |
Afirmações de status de placar nesta página para reconferir com a tabela (podem estar superadas):
- “Não aparece no Decision Index 0.3.”
- “O card não publica números de acurácia, e o modelo não está no JevBench v1.6.x nem no Decision Index 0.3 (o placar lista o Torchcast Decision 27B com …”
Nota de versão / família. Esta página cobre só o 12B. O placar também lista o Torchcast Decision 27B (Decision Index Full 59,91, #19) e, no JevBench, torchcast-decision-27b e Torchcast Decision 4B; uma página de família é candidata.
Atualização da nota (auditoria, 17/10/2026). Capability 8,1 → 8,1 (inalterada) = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 10 × 0,30 + 6 × 0,25 + 8 × 0,25 + 8 × 0,20 = 8,10 → 8,1. Tipos, calibração e latência vêm da conta anterior (10 / 6 / 8); só a acurácia é refeita pelo placar (8; era 8): JevBench Intelligence 60,5 ÷ 63,6 × 8 = 7,6, arredondado para cima. Maturidade e adoção inalteradas.
Hugging Face em 17/10 (torchcast-ai/torchcast-decision-12b): 639 downloads, 3 likes, tag de licença cc-by-nc-4.0, última modificação 2026-10-02.
Torchcast Decision 4B v1.2 no JevBench (19/10/2026)
publicado (OK do Fabricio 19/10 BRT).
O placar de pesos abertos (draw v1.6.29) ganhou uma linha do Torchcast Decision 4B v1.2, que fica em #2 no ranking oficial, atrás do H2O-Lightning-4B v1.1. A linha do v1.1 continua listada.
| Linha (draw v1.6.29) | Capability | Intelligence | Calibração | p50 | Custo / 1.000 decisões | Posição oficial |
|---|---|---|---|---|---|---|
| Torchcast Decision 4B v1.2 | 72,6 | 60,3 | 85,0 | 0,062 s | US$ 0,020 | #2 |
| Torchcast Decision 4B v1.1 | 68,7 | 54,2 | 83,1 | 0,021 s | US$ 0,020 | #9 |
| torchcast-decision-12b (esta ficha) | 71,7 | 60,5 | 82,9 | 0,037 s | US$ 0,028 | #8 |
O 4B v1.2 agora empata com o 12B em Intelligence (60,3 vs 60,5), com calibração melhor e custo menor por decisão. Esta ficha continua cobrindo só o 12B, então as notas não mudam; o resultado do 4B reforça a ideia de uma página da família.