Tev1-4B-experimental

Última atualização:

Aberto—$0.04/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade5.8/10

    Pesos abertos, receita completa de treino, endpoint serverless hospedado e exemplos públicos; ainda experimental, generativo e sem benchmark de latência publicado ou SLA.

  • Capability2.7/10

    Decision Index 0.4.1 Full 33,73 (#143). Saída só choice a partir de prompt com 2–24 opções; cabeça autoregressiva do Qwen, logprobs são preferências, não probabilidades calibradas; sem latência medida.

  • Adoção19/100

    4B: ~2,4 mil downloads e 24 likes no HF (eram 741 / 12); 0.8B: ~800 downloads; receita no GitHub com 177 stars. Desde 30/09 os dois tamanhos estão no Ollama (~2,7 mil pulls em ~14h). Ainda um lançamento experimental de nicho.

Vendor claims

Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

Tev1-4B-experimental é um modelo de decisão open e Jev-inspired da Together AI. É um supervised fine-tune do Qwen3.5-4B treinado para escolher uma opção a partir de um state estruturado, uma question e uma lista de 2–24 choices.

O model card deixa o limite explícito: isto não é um runtime Jev non-autoregressive. O modelo mantém a cabeça padrão de language model do Qwen, e a aplicação mapeia a letra retornada para uma chave semântica. Por isso, a entrada de catálogo fica limitada a choice; não atribuímos ao modelo as interfaces calibradas de Score ou Boolean do Jev.

Receita de treino

O repositório público inclui a receita de dados e um exemplo de treino. O run new v1 combina 37.840 exemplos únicos de treino com 4.568 exemplos de validação, cobrindo classificação de linguagem, decisões de política, routing e classificação sintética de pesquisa. O exemplo usa supervised fine-tuning no Qwen3.5-4B.

O repositório alerta que a mistura de avaliação influenciou o desenvolvimento do modelo. Os 88,0% em 1.000 decisões principais e 300/300 em policy-transfer são resultados de bring-up, não benchmark independente. O card também diz que os logprobs são preferências do modelo, não confidence calibrada.

O irmão de 0.8B, Tev1-0.8B-experimental, ficou público no Hugging Face em 25 de setembro de 2026. Mesma receita e mesma interface, sobre o Qwen3.5-0.8B; o card diz que a licença dos pesos “is being finalized”. Ele é coberto aqui, não numa ficha separada.

No Ollama (30/09/2026)

Os dois tamanhos são modelos de lançamento do endpoint /v1/systemone do Ollama: ollama pull tev1 (4B, 4,5 GB Q8_0, 4,21B params) e ollama pull tev1:0.8b (812 MB Q8_0, 752M params). A página da library do Ollama lista três tipos de pergunta (choice, noul, score) e recomenda ficar entre 2 e 24 opções, a faixa em que o Tev1 foi treinado.

No catálogo, decisionTypes continua só choice. No Ollama, os formatos noul e score vêm do scoring de candidatos do próprio Ollama, não do treino do Tev1, e o card da Together segue descrevendo saída de uma letra com logprobs não calibrados.

UnverifiedClaim: a rodada do Ollama nos 13 datasets públicos com rótulo humano da Bespoke Labs (3.880 decisões) dá 73,3% para o Tev1 4B e 63,5% para o Tev1 0.8B, contra 76,0% do Jev 1.13 (número do Jev tirado da rodada publicada pela Bespoke). (blog · library)

Fit / anti-fit

Fit: classificador Jev-inspired open, receita reproduzível de fine-tuning ou decisão choice controlada dentro de um schema de aplicação.

Anti-fit: runtime System One non-autoregressive, probabilidades calibradas, semântica Boolean/Noul ou Score, ou decisões de produção sem sua própria avaliação holdout.

Limites

  • Não há benchmark público de latência p50/p99. O valor 0–0ms no frontmatter é um sentinel de dado indisponível.
  • Os números de 88% e 100% são de desenvolvimento e UnverifiedClaim.
  • O modelo continua sendo um checkpoint generativo do Qwen e pode produzir prosa fora da interface restrita.
  • Os preços de US$ 0,04/M de entrada e US$ 0/M de saída são claims do endpoint serverless da Together.

Auditoria dos placares (17/10/2026)

Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar Linha Resultado
Decision Index 0.3.2 (16 out 19:00 UTC) Together Tev1 Qwen3.5-4B Full 34,14 (#112, grupo de empate 28); público 29,51 (#129); same-skills 31,78; new-domains 37,65
Decision Index 0.3.2 (16 out 19:00 UTC) Together Tev1 Qwen3.5-0.8B Full 12,02 (#149, grupo de empate 45); público 13,1 (#157); same-skills 12,84; new-domains 14,73

Proposta de nota (conta do zero, desdobramento da auditoria de 17/10/2026). Capability 2,3 → 2,7 = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 3 × 0,30 + 1 × 0,25 + 2 × 0,25 + 5 × 0,20 = 2,65 → 2,7. Tipos 3 (só choice). Calibração 1 e latência 2 seguem a conta guardada (logprobs não calibrados; latência não medida). Acurácia 3 → 5: o 3 anterior vinha do benchmark de desenvolvimento do autor; no placar, Decision Index Full 34,14 ÷ 60,11 × 8 = 4,5 → 5. O irmão de 0.8B (Full 12,02, #149) é coberto aqui, mas não pontuado à parte. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (togethercomputer/Tev1-4B-experimental): 5.096 downloads, 36 likes, tag de licença nenhuma, última modificação 2026-09-23.

Auditoria de placar (20/10/2026, DI 0.4)

O Decision Index 0.4 (20/10; Full agora só com as partes privadas) lista Together Tev1 Qwen3.5-4B com Full 33,60 (#127); era 34,14 na edição 0.3.2, arquivada. Regra de acurácia, referência Jev 1.13 no DI 0.4 Full (61,26): 8 × 33,60 ÷ 61,26 = 4,39 → 4 (era 5). Capability = 3 × 0,30 + 1 × 0,25 + 2 × 0,25 + 4 × 0,20 = 2,45 → 2,5 (era 2,7). Demais subnotas, maturidade e adoção inalteradas.

Auditoria de placar (22/10/2026, DI 0.4.1)

O Decision Index 0.4.1 (22/10; referência Jev 1.13 Full 59,22, era 61,26 no 0.4) lista a linha desta ficha com Full 33,73 (#143). Regra de acurácia: 8 × 33,73 ÷ 59,22 = 4,56 → 5 (era 4). Capability = 3 × 0,30 + 1 × 0,25 + 2 × 0,25 + 5 × 0,20 = 2,65 → 2,7 (era 2,5). Maturidade e adoção inalteradas.

Fontes