ENPT

Phocinae-Largha-150M-v1

Última atualização:

Aberto21–21ms$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade5.6/10

    Apache-2.0, 144,3M sobre o mmBERT-small. Card e guia de deploy detalhados; servidor Python oficial local expõe /v1/systemone, com ponte MCP. Ferramentas do próprio projeto; sem integração de terceiros ou SLA.

  • Capability6.2/10

    JevBench oficial (17/10): Intelligence 3,6, calibração 56,9, p50 0,443 s. Janela de decisão de 512 tokens. ECE 0,017 exige coluna opcional (padrão 0,252); p50 GPU de 21 ms é do fornecedor.

  • Adoção2/100

    HF tem 231 likes / 167 downloads no mês; post no X tem 41 likes / 2.489 views. Servidor/MCP oficiais são próprios; sem integração de terceiros ou usuários de produção identificados.

Vendor claims

  • Acurácia typed-decisions reportada pelo fornecedor: 0,906 (en) / 0,848 (zh), avaliação ajustada com overlap de treino divulgado; JevBench público 126/231 (54,5%). Em τ=0,6, reporta 55% menos chamadas a LLM e 0,9936 no subconjunto retido, não no fluxo completo com escalonamento.[Claim do fornecedor — não verificado independentemente]

publicado (OK do Fabricio 17/10 BRT). Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

Leia antes

  1. Pequeno, contexto curto e local. A sequência de decisão vai até 512 tokens. A ideia é responder os casos fáceis e escalar o resto para um modelo maior.
  2. 0,906 não é resultado limpo de holdout. A nota no typed-decisions é ajustada, e a divulgação de 10/10 no card relata overlap entre dados de treino e linhas de teste. O JevBench público, separado e held out, ficou em 126/231 (54,5%), abaixo da linha de 58,4%.
  3. Calibração e roteamento dependem das condições. ECE padrão é 0,252; a coluna opcional reduz para 0,0168, mas muda o Brier. A chamada de τ=0,6 indica 55% menos chamadas a LLM e 0,9936 nos casos retidos; a acurácia do fluxo completo com os casos escalonados medidos no Jev é 0,8135.

Serving e notas de avaliação (10/10/2026)

O phocinae-server oficial é um serviço Python local com POST /v1/systemone; o guia de deploy também documenta uma ponte MCP. Essas ferramentas atualizam a maturidade; não demonstram adoção por terceiros.

O card diz que o resultado 0,906 em inglês no typed-decisions é ajustado sobre o split de treino e divulga um conjunto de correção de erros de 500 itens, parcialmente minerado em linhas de teste do typed-decisions (151 decisões), além de pequenas amostras dos testes Banking77 e CLINC. O 0,848 em chinês é in-mix e usa casos traduzidos por máquina. O resultado separado no JevBench público-231 é held out: 126/231 (54,5%), abaixo da linha declarada de 58,4%.

O número do roteamento usa um limiar de confiança escolhido após varrer o conjunto de avaliação. Em τ=0,6, o fornecedor reporta 55% menos chamadas externas e 0,9936 de acurácia no subconjunto retido; a acurácia do fluxo completo é 0,8135 quando os casos escalonados usam o Jev medido. O limiar deve ser reavaliado por domínio antes de aplicação em outro contexto.

A coluna de calibração entregue tem ECE 0,2519 (inglês); a coluna opcional reduz para 0,0168, mas aumenta o Brier de 0,0207 para 0,1218. São medições reportadas pelo fornecedor.

Conta das notas (10/10/2026; atualização proposta)

  • Maturidade = 8 × 0,30 + 7 × 0,25 + 5 × 0,25 + 1 × 0,20 = 2,40 + 1,75 + 1,25 + 0,20 = 5,60 → 5,6
  • Capability = 9 × 0,30 + 7 × 0,25 + 6 × 0,25 + 5 × 0,20 = 2,70 + 1,75 + 1,50 + 1,00 = 6,95 → 7,0
  • Adoção = 6 × 0,35 + 1 × 0,35 + 0 × 0,30 = 2,10 + 0,35 + 0 = 2,45 → 2

Integração 5: servidor local oficial com /v1/systemone e ponte MCP, ainda sem adoção por frameworks de terceiros. Latência 6 e acurácia 5: só medição do fornecedor, e o JevBench continua abaixo da linha de aprovação.

Auditoria dos placares (17/10/2026)

publicado (OK do Fabricio 17/10 BRT). Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar Linha Resultado
JevBench pesos abertos (ao vivo 17/10) Phocinae-Largha-150M-v1 Capability 30,2; Intelligence 3,6; calibração 56,9; p50 0,443 s; US$ 0,0014/1k

Atualização da nota (auditoria, 17/10/2026). Capability 7 → 6,2 = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 9 × 0,30 + 7 × 0,25 + 6 × 0,25 + 1 × 0,20 = 6,15 → 6,2. Tipos, calibração e latência vêm da conta anterior (9 / 7 / 6); só a acurácia é refeita pelo placar (1; era 5): JevBench Intelligence 3,6 ÷ 63,6 × 8 = 0,5, arredondado para cima. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (Phocinae/Phocinae-Largha-150M-v1): 664 downloads, 236 likes, tag de licença apache-2.0, última modificação 2026-10-15.