mammoth-1 (27B) + elephant-1 (9B)
Notas do quadrante
Ver o quadrante completoPontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.
- Maturidade7/10
Pesos MIT no Hugging Face (abertos em 21/10), endpoint /v1/systemone hospedado no Baseten Model APIs e no Vercel AI Gateway (AI SDK, Decisions API, rota compatível com TypeSafe), card e relatório técnico. Grátis até 27/10; preço depois não publicado. Sem SLA do modelo.
- Capability8.1/10
Noul / Choice / Score num prefill compartilhado. Decision Index 0.4 Full 71,24 (#1, pesos anteriores); o 0.4.1 remediu os pesos públicos em 68,44 (empate em #3; Jev 1.13 59,22). ECE no DI 0,041, mediana 220 ms numa RTX PRO 6000. Treinado com termo de Brier e opção "não sei".
- Adoção12/100
Post de lançamento do Baseten com ~300 likes / 29 mil views, changelog do Vercel AI Gateway, cerca de 180 downloads e 64 likes no HF nos dois repositórios em um dia. Semana grátis no Baseten e na Vercel. Sem usuários em produção citados.
Vendor claims
- mammoth-1 is the best decision model in the world, #1 of 208 on Jev Decision Index 0.4 (71.24)[Claim do fornecedor — não verificado independentemente]
- elephant-1 ties d1-ultra for #1 on the Artificial Analysis Decision Index (65); replica scores 65.9 (mammoth-1) and 65.2 (elephant-1)[Claim do fornecedor — não verificado independentemente]
- 6.21M training examples, zero contamination against the Decision Index and AA benchmarks[Claim do fornecedor — não verificado independentemente]
Notícias sobre este modelo
publicado (OK do Fabricio 22/10 BRT). Notas calculadas do zero.
Leia antes.
- Uma página, dois modelos. O
mammoth-1(27B) é o principal e o que recebe a nota; oelephant-1(9B) tem os números dele abaixo.- Duas revisões de pesos. O Decision Index 0.4 (20/10) mediu uma revisão anterior do mammoth-1 em 71,24 (#1). Depois da abertura, a edição 0.4.1 remediu os pesos atuais do
mainem 68,44 (empate em #3). Esta página usa a linha dos pesos que dá para baixar.- O “empate em #1” no Artificial Analysis é perto, mas não é empate. A página do AA mostra o Elephant 9B com 64,7, atrás do d1-ultra com 65,2 (lido em 22/10). O mammoth-1 não está no AA.
O que é
O mammoth-1 e o elephant-1 são fine-tunes completos do Qwen3.5-27B e do Qwen3.5-9B feitos pela Base Labs, o braço de pesquisa do Baseten. Recebem um estado e um conjunto de perguntas tipadas (sim/não, choice, score) e devolvem uma probabilidade para cada opção, sem gerar texto. Todas as perguntas dividem um prefill: as camadas de atenção completa usam máscara bidirecional por bloco, então o cache do prefixo é reaproveitado e cada pergunta enxerga as próprias opções. O encoder de visão ficou congelado; o treino foi só de texto.
Em 20/10 os repositórios estavam fechados “só para avaliação do Decision Index”, o que os deixou fora do catálogo (news). Em 21/10 a Base Labs passou os dois para MIT e o Baseten os lançou no Model APIs.
Ficha técnica
| Atributo | mammoth-1 |
elephant-1 |
|---|---|---|
| Desenvolvedor | Base Labs (Baseten) | igual |
| Base | Qwen3.5-27B, fine-tune completo | Qwen3.5-9B, fine-tune completo |
| Licença | MIT | MIT |
| Tipos | noul, choice, score; opção “não sei” treinada | igual |
| Contexto | 16.384 tokens; pedidos maiores são recusados, não truncados | igual |
| Treino | Mix 8, 6,21 milhões de exemplos; cross-entropy + Brier (λ = 1); 1 época; 72 GB300 | mesmos dados; 128 H100 |
| Self-host | setup.sh (OneJev + serve.patch), uma GPU CUDA |
igual |
| Hospedado | Baseten POST /v1/systemone, modelo decision-models/baseten-mammoth-27b-latest; Vercel AI Gateway baseten/mammoth-1 |
baseten/elephant-1 |
| Preço | grátis até 27/10/2026, 23h59 PT; preço depois não publicado | igual |
Placares
| Placar | Linha | Resultado |
|---|---|---|
| Decision Index 0.4.1 (gerado 22/10 05:40 UTC) | baselabs mammoth-1 (27B), pesos atuais | Full 68,44, empate em #3 de 225; público 75,34; ECE 0,041; mediana 220 ms |
| igual | baselabs elephant-1 (9B) | Full 60,26 (#40); público 72,24; ECE 0,058; mediana 114 ms |
| igual | Jev 1.13 (referência) | Full 59,22 |
| Decision Index 0.4 (20/10, edição arquivada) | mammoth-1, revisão anterior | Full 71,24, #1 |
| Artificial Analysis Decision Index (lido em 22/10) | Elephant 9B | 64,7, #2 de 16 (d1-ultra 65,2; Jev 1.13 57,5) |
| JevBench (v1.6.38) | — | não listado |
Os placares são lidos separados e nunca combinados.
Claims do fabricante (UnverifiedClaim)
- mammoth-1 “#1 de 208 no Jev Decision Index 0.4” com 71,24 (relatório). Vale para a edição 0.4 e a revisão medida nela; os pesos públicos têm 68,44 no 0.4.1.
- elephant-1 “empatado em #1” no Artificial Analysis (65 contra 65 do d1-ultra) (card, Vercel). A página do AA mostra 64,7 contra 65,2.
- Réplica do índice do AA: mammoth-1 65,9, elephant-1 65,2; zero contaminação com os dois índices (relatório).
Notas (do zero, 22/10/2026)
Nota calculada no mammoth-1.
- Capability 8,1 = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 10 × 0,30 + 7 × 0,25 + 7 × 0,25 + 8 × 0,20 = 8,10. Acurácia: Decision Index 0.4.1 Full 68,44 contra 59,22 do Jev 1.13 na mesma edição → 8 × 68,44 ÷ 59,22 = 9,25, teto 8 (empate em #3, um placar só). Calibração 7: método publicado (termo de Brier, treino de abstenção) e ECE 0,041 no placar. Latência 7: mediana de 220 ms no placar.
- Maturidade 7,0 = disponibilidade × 0,30 + docs × 0,25 + integrações × 0,25 + suporte × 0,20 = 8 × 0,30 + 7 × 0,25 + 8 × 0,25 + 4 × 0,20 = 6,95 → 7,0.
- Adoção 12 = engajamento × 0,35 + ecossistema × 0,35 + produção × 0,30 = 20 × 0,35 + 12 × 0,35 + 2 × 0,30 = 11,8 → 12.
GGUF da comunidade: elephant-1-decision-GGUF (25/10/2026)
publicado (OK do Fabricio 25/10 BRT).
O waseigo/elephant-1-decision-GGUF (MIT, publicado em 24/10 às 23:03 BRT, corrigido em 25/10) pega os arquivos Q4_K_M do elephant-1 de mradermacher/elephant-1-GGUF e só acrescenta os metadados de decisão do llama.cpp (qwen35.decision.type = openjev, atenção não causal) e um template systemone, para o POST /v1/systemone do llama.cpp funcionar. Pesos inalterados. O primeiro upload tinha o template quebrado (o modelo não via as letras das opções); o autor substituiu em 25/10. Não é da Base Labs; notas inalteradas.
joey-1 (2B), 29/10/2026
publicado (OK do Fabricio 30/10 BRT).
A Base Labs lançou o joey-1 em 29/10: Qwen3.5-2B pós-treinado com os mesmos dados e a mesma receita, pesos MIT, texto e imagem, e Baseten Model APIs a US$ 0,01 por milhão de tokens de entrada. A Baseten diz que é um décimo do preço do mammoth-1, o que dá uns US$ 0,10/M para o 27B depois da semana grátis (sem confirmação numa página de preço).
| Placar | Linha | Resultado |
|---|---|---|
| Decision Index 0.4.1 (dados de 29/10 14:04 UTC) | baselabs joey-1 (2B) | Full 35,91 (#148 de 247), público 63,30; ECE 0,044; mediana 85 ms |
| idem | baselabs elephant-1 (9B) | Full 60,26 (#48), sem mudança |
| idem | baselabs mammoth-1 (27B) | Full 68,44 (#9), sem mudança |
Claims do fornecedor (UnverifiedClaim): P50 de 20 ms num pedido de 2.000 tokens, 2,5× mais rápido que o elephant-1 (49 ms); “melhor modelo abaixo de 4B no recorte público do Decision Index 0.4”; 62,9 numa réplica do Artificial Analysis. O claim do recorte público bate com o placar, mas o Full joga o joey-1 bem para baixo na tabela. Ainda não aparece no JevBench nem no Artificial Analysis.
Notas inalteradas (7,0 / 8,1 / 12): a ficha é pontuada no mammoth-1. Ver news.