ENPT

CLM-v0.1-8B

Última atualização:

Aberto—$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade5.9/10

    Head weights Apache-2.0 públicos, pacote pip, servidor local, documentação de API e endpoint compatível com TypeSafe; ainda exige um encoder Qwen3-8B externo e não tem SLA hospedado.

  • Capability5.7/10

    Placares oficiais (17/10): Decision Index 0.3.2 Full 6,24 (#162); JevBench Intelligence 0,1, calibração 40,0, p50 0,021 s.

  • Adoção28/100

    812 stars no GitHub, 65 forks, 1,1K likes no X e 93,8K views mostram interesse forte no lançamento; adoção em produção ainda não foi reportada.

Vendor claims

publicado (OK do Fabricio 17/10 BRT). Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

CLM-v0.1-8B é um modelo System One open da Contrastive-LM. Ele conecta um state atual a ações candidatas com um objetivo contrastivo e depois aplica softmax sobre os scores dos candidatos. O projeto expõe uma API compatível com TypeSafe por meio de CLMClient.system_one().

O artifact público não é um checkpoint 8B autocontido. O repositório no Hugging Face publica um CLM_v0.1-8B.pt de cerca de 75 MB com os heads de projeção state/action. A inferência também exige um encoder Qwen3-8B compatível e last-token pooling. O pacote de referência oferece contrastive-lm, clm-serve e um playground local.

Interface tipada

A API expõe os três tipos de decisão do catálogo:

  • Choice — probabilidades por opção;
  • Noul — probabilidade de a afirmação ser verdadeira;
  • Score — posição esperada em uma régua ordenada.

As probabilidades são relativas ao conjunto de candidatos enviado na request. Isso funciona bem para action ranking, routing, shortlist de retrieval e verifier gates, mas não equivale a uma probabilidade calibrada global sobre todas as ações possíveis.

Claims e avaliação — UnverifiedClaim

O projeto relata desempenho zero-shot equivalente ao Jev em computer-use, gaming e tool-calling, com até 9× menor latência. O README relata 81,6% no DeepSWE e 87,6% no Terminal-Bench 2.1 após lightweight fine-tuning, com latência de verifier 4,1–5,7× menor que a do Jev em um setup H100.

São resultados dos autores. Os números agentic usam heads fine-tuned, não apenas o checkpoint zero-shot publicado. A avaliação também é estreita: 38 tarefas held-out do DeepSWE e 30 do Terminal-Bench, segundo o repositório. Tratar todos os números como UnverifiedClaim até uma reprodução independente.

Fit / anti-fit

Fit: ranking local de ações, tool routing, seleção best-of-N, reranking de retrieval ou verifier tipado para trajetórias de agentes.

Anti-fit: geração de texto, checkpoint autônomo, states longos além do limite configurado ou confiança calibrada globalmente independente da lista de candidatos.

Auditoria dos placares (17/10/2026)

publicado (OK do Fabricio 17/10 BRT). Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar Linha Resultado
Decision Index 0.3.2 (16 out 19:00 UTC) CLM-v0.1-8B Qwen3-8B heads Full 6,24 (#162, grupo de empate 48); público 7,41 (#165); same-skills 5,96; new-domains 11,84
JevBench pesos abertos (ao vivo 17/10) CLM-8B Capability 20,1; Intelligence 0,1; calibração 40,0; p50 0,021 s; US$ 0,045/1k

Atualização da nota (auditoria, 17/10/2026). Capability 6,5 → 5,7, primeira conta completa (a nota anterior não tinha detalhamento guardado) = tipos 10 × 0,30 + calibração 3 × 0,25 + latência 7 × 0,25 + acurácia 1 × 0,20 = 5,70 → 5,7. Tipos vêm de decisionTypes; calibração do eixo do JevBench 40,0 (≥90 → 7, 85–89,9 → 6, 75–84,9 → 5, 60–74,9 → 4, abaixo de 60 → 3; sem ECE do autor); latência do p50 self-hosted do placar 0,021 s, sem p99 (≤0,25 s → 7, ≤0,5 s → 6, ≤1 s → 5, acima → 3); acurácia Decision Index Full 6,24 ÷ 60,11 × 8 = 0,8, arredondado para cima. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (Contrastive-LM/CLM-v0.1-8B): 4.915 downloads, 779 likes, tag de licença apache-2.0, última modificação 2026-09-24.

Fontes