JevEmbed
Notas do quadrante
Ver o quadrante completoPontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.
- Maturidade5.8/10
GitHub público (47★), vários checkpoints Apache-2.0 no Hugging Face, dataset, CLI e servidor HTTP opcional. Projeto acadêmico sem SLA hospedado; receitas ainda mudam entre releases 0.6B/KaLM/4B.
- Capability5.3/10
Choice / Score / Noul de primeira classe via similaridade de embedding com temperatures/slopes publicadas. Acurácia forte do autor no teste in-domain do JevEmbed-Data; ainda sem p50/p99 independente nem entrada em suite externa.
- Adoção21/100
Repositório com 47 stars no GitHub, três fine-tunes públicos (KaLM, Qwen3-Embedding-0.6B, Qwen3-Embedding-4B em 28/09) e dataset de 1,6M perguntas. Sem cases públicos de produção.
Vendor claims
- JevEmbed-Qwen3-Embedding-4B: acurácia hard-label geral 85,86% no test do JevEmbed-Data (64.110); Choice 90,31%, Score level 73,41%, Noul 95,88% vs embedding base 36,29% geral[Claim do fornecedor — não verificado independentemente]
- LoRA de uma época (r64) em 1.601.157 perguntas de treino; checkpoint final passo 3.127; embeddings 2.560-d com last-token pooling[Claim do fornecedor — não verificado independentemente]
- O framework expõe Choice, Score e Noul via API Python, CLI e servidor FastAPI opcional com rotas no shape do Jev[Claim do fornecedor — não verificado independentemente]
JevEmbed transforma modelos de embedding em motores de decisão tipada. Você escolhe um embedder (incluindo os fine-tunes da própria HIT-TMG), faz perguntas Choice / Score / Noul sobre um state e recebe probabilidades — não chat. É independente da TypeSafe AI.
O projeto é ao mesmo tempo um framework (qualquer embedding compatível, local ou HTTP) e uma família de pesos treinados. Os checkpoints fine-tuned são adapters LoRA mergeados em modelos Sentence Transformers; os adapters também vêm em lora/. Flagship em 28 de setembro de 2026: HIT-TMG/JevEmbed-Qwen3-Embedding-4B. Anteriores: 0.6B, KaLM-Embedding-V2.5. Dados: HIT-TMG/JevEmbed-Data.
Código: github.com/HITsz-TMG/JevEmbed (47★ na checagem do radar). Org: HIT-TMG / Harbin Institute of Technology (Shenzhen) TMG. Atividade pública do framework por volta de ; pesos KaLM em ; Qwen3-Embedding-4B em .
Specs
| Atributo | Valor |
|---|---|
| Autor | HIT-TMG (HITsz-TMG) |
| Pesos flagship | HIT-TMG/JevEmbed-Qwen3-Embedding-4B (LoRA mergeado no Qwen3-Embedding-4B) |
| Outros pesos públicos | Qwen3-Embedding-0.6B, KaLM-Embedding-V2.5 |
| Tipos de decisão | Choice, Score, Noul (mapeados para choice / score / boolean no catálogo) |
| Dimensão (4B) | 2.560 (last-token pooling, normalizado) |
| Licença | Apache-2.0 nos cards de pesos; licenças das fontes do dataset variam (ver relatório) |
| Runtime | pacote Python jevembed — Sentence Transformers local, /v1/embeddings remoto, FastAPI opcional |
| Latência | Não publicada → sentinela do catálogo 0 / 0 |
Benchmarks do autor (4B)
Do card do 4B. Reportados pelo autor → UnverifiedClaim. Avaliação no próprio test split do JevEmbed-Data (in-domain em relação ao treino), BF16, prompts/scoring idênticos para base vs LoRA.
| Métrica | Base Qwen3-Embedding-4B | LoRA final | Δ |
|---|---|---|---|
| Acc hard-label geral (64.110) | 36,29% | 85,86% | +49,57 pp |
| Acc Choice (17.487) | 38,11% | 90,31% | +52,20 pp |
| Acc Score level (24.260) | 30,55% | 73,41% | +42,86 pp |
| Acc Noul binária (22.363) | 41,09% | 95,88% | +54,78 pp |
Não cole 85,86% ao lado de figuras zero-shot de typed-decisions ou JevBench de outros cards — dados e protocolo diferentes.
Limites
- Headline in-domain. Os números fortes do 4B são no JevEmbed-Data, a mesma família usada no treino.
- Geometria de embedding, não RLCD. Temperatures/slopes são knobs de config; não há história publicada de calibração estilo RLCD.
- Natureza dupla. Apontar o framework a um embedder genérico congelado fica mais perto de runtime; esta ficha é pelos checkpoints treinados do JevEmbed.
- Proveniência dos dados. O relatório do dataset aponta licenças mistas nas fontes — ler antes de redistribuir derivados comercialmente.
- Não é TypeSafe. Rotas HTTP opcionais no shape do Jev são compatibilidade comunitária de fio, não afiliação.
Fit / anti-fit
Fit quando você precisa: de decisões tipadas locais via embedding, de um stack de pesquisa que já fala Choice/Score/Noul, ou de um embedder Qwen3/KaLM fine-tuned para essas tasks.
Anti-fit quando você precisa: de um LLM generativo, de SLA hospedado da TypeSafe, ou de um número zero-shot em LocalLLaMA/typed-decisions / JevBench sem uma rodada nova.
Por que está no catálogo
Os merges LoRA públicos são pesos de decisão treinados para Choice / Score / Noul, não wrapper de prompt em chat congelado. Código, dataset e vários checkpoints são open. Fica ao lado de peers encoder como Laya, GLiNER2.5-Decide e Julia-1, com scoring por similaridade em vez de cabeça de classificação dedicada.