Como escolher um Modelo de Decisão aberto

Comece pela carga de trabalho, não por um ranking

Não há base para afirmar genericamente que um modelo aberto é “10× mais barato e rápido” que o Jev. Preço de API hosted, demo local de uma pergunta e produção auto-hospedada medem coisas diferentes. Compare os modelos com os mesmos casos rotulados, schema, concorrência, hardware e política de escalonamento.

Use um Modelo de Decisão apenas quando a saída é limitada a uma decisão. Deixe geração, aritmética, comparação de datas e raciocínio em múltiplas etapas para código ou para um modelo Sistema Dois.

O que o catálogo sustenta hoje

Opção	Forma	Melhor motivo para avaliar	Não conclua
Jev	API hosted de decisão tipada	Menor carga operacional e contrato completo choice / score / boolean	Claims de velocidade, custo ou acurácia do fornecedor são benchmarks independentes
Laya	Modelo ModernBERT completo e aberto	Caminho local de encoder menor	Qualidade zero-shot genérica ou probabilidades calibradas; o resultado zero-shot publicado é fraco
Decider	Modelo aberto completo de 2B	Wire format parecido com Jev e as três primitivas	Bench de browser e comparações com Jev do autor são garantia de produção
Nimble	LoRA sobre Qwen3.5-9B	Receita aberta para classificador em formato de schema	Inferência “grátis”; exige modelo-base e hardware adequado
NanoJev	Modelo aberto completo de 0,6B	Stack de pesquisa pequeno com heads estruturados	Demos de jogo transferem para seu caso semântico

As entradas abertas acima não têm cobrança de API por token no catálogo. Isso quer dizer preço marginal de API zero, não custo total zero: inclua GPU/CPU, memória, serving, observabilidade, uptime e a pessoa que opera o sistema.

Uma comparação que serve para decidir

1. Congele um conjunto de avaliação rotulado a partir da sua fronteira de decisão. Preserve um holdout sem tocar.
2. Dê a cada candidato o mesmo state, critérios, choices, variantes de ordem das opções, timeout e concorrência.
3. Registre acurácia (ou F1), erro de calibração, latência p50/p95, throughput serializado, falhas e premissas de custo total.
4. Rode também a variante com opções invertidas. Um modelo que muda a resposta ao mover candidatos não está pronto para um branch automático.
5. Escolha a menor carga operacional que atinge seu limiar de acurácia e calibração; escale os casos pouco confiantes em vez de forçar um vencedor.

O repositório inclui o avaliador local scripts/evaluate-decision-models.mjs. Ele recebe observações JSONL normalizadas e produz um relatório reproduzível; veja o protocolo de benchmark. Ele deliberadamente não publica ranking a partir de screenshots de vendor ou comunidade.

Planilha de custo

Para modelo hosted, estime tokens de entrada × preço publicado mais gateway e custo de escalonamento. Para auto-hospedagem, estime:

infraestrutura mensal + trabalho operacional + observabilidade
-------------------------------------------------------------- = custo por decisão
                 decisões bem-sucedidas no mês

Reporte isso ao lado — e não no lugar — do preço marginal da API. Assim uma API hosted de baixo volume e uma GPU dedicada de alto volume ficam comparáveis sem fingir que sua economia é idêntica.

Regra de decisão

Escolha Jev quando disponibilidade gerenciada e o contrato tipado valem mais que controle local. Avalie um modelo aberto portátil quando residência de dados, operação offline ou volume sustentado justificam operar o serving. Mantenha o modelo aberto em shadow mode ou em uma rota segura de escalonamento até que acurácia de holdout, calibração e estabilidade à ordem das opções atinjam o limiar de risco da decisão.