open-jev-deberta-v3-large

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

• Maturidade5.8/10

  Card HF claro e repo typed-decisions com treino em gold público; especialista encoder sem SLA hosted fica na maturidade média.

• Capability6.3/10

  Três primitivos num pass de encoder com temperature pós-hoc; números in-domain do autor fortes, OOD mais fraco — capability média, não par do Jev.

• Adoção9/100

  Aparece nas listas de gap do S1Bench e docs kotoba-lang; ainda nicho especialista vs réplicas em backbone de chat.

Vendor claims

• ~28ms ponta a ponta para 10 perguntas num state (H100 bf16); ~1.8s para 4q em M1 Max CPU fp32 (autor)[Claim do fornecedor — não verificado independentemente]
• Teste in-domain acc ~0.854 / ECE ~0.022; OOD perguntas novas ~0.690 (autor)[Claim do fornecedor — não verificado independentemente]
• Treino só com gold público (Banking77, SST5, BoolQ) — sem labels de teacher LM (autor)[Claim do fornecedor — não verificado independentemente]

open-jev-deberta-v3-large é um modelo encoder aberto no formato Jev em DeBERTa-v3-large — trabalho independente kotoba-lang / com-kotobalabs — não é TypeSafe.

Um state compartilhado + várias perguntas tipadas (choice ≤255 opções, score 2–10 níveis, noul → boolean no catálogo) → distribuições calibradas num único forward de encoder (sem geração). Pesos: com-kotobalabs/open-jev-deberta-v3-large; código: github.com/kotoba-lang/typed-decisions.

Limites (leia antes de colocar em produção)

• Budget de contexto apertado (autor: ~512 tokens no total; state cortado ~256). Tickets longos pedem o seu próprio chunking.
• Claims de latência (~28ms H100 / ~1.8s M1 CPU) são self-reported.
• Gap in-domain vs OOD é grande no card do autor; não trate acurácia estilo Banking77 como transferência System One em mundo aberto.
• O autor diz explicitamente que os números não são comparáveis às métricas privadas da TypeSafe — concordamos; comps = UnverifiedClaim.

Por que está no catálogo

Treino só com gold público, pesos abertos e I/O multi-pergunta de encoder de verdade. Complementa peers de chat backbone como Decider e Laya.