Runtimes e harnesses de modelos de decisão: vLLM, MLX, APIs

Serviço e orquestração para modelos de decisão: pooling no vLLM, MLX em Apple Silicon e APIs hospedadas que respondem perguntas tipadas sem pesos treinados.

Estes NÃO são modelos. Eles extraem decisões de LLMs existentes via constrained decoding, leitura de logits ou APIs wrapper. Sem pesos de decisão treinados — a capacidade de decisão vem de técnicas em tempo de inferência sobre modelos base congelados.

Procurando modelos de decisão treinados? Veja o Catálogo de modelos.

Aleria AI

Aleria Judge (MORJ)

Método

Método aberto da Aleria AI que transforma o Gemma 4 31B puro em servidor de decisões tipadas (antes MORJ). Entrada no board MORJ 1.0.1: Full 60,96 no Decision Index 0.3.2, empatado com o Jev 1.13.

Por que não é um modelo

Sem treino: lê as probabilidades de próximo token do Gemma-4-31B puro sobre ordens rotacionadas das opções. Sem pesos de decisão próprios, então sem página de modelo (precedente: simple-jev, AnyJev).

LLMs base
google/gemma-4-31B-it (puro), nvidia/Gemma-4-31B-IT-NVFP4 (TensorRT-LLM, só texto)
Types
choice · score · boolean
Stars
~17
Ver detalhes

Nokia Applied Research

AnyJev

Método

Biblioteca aberta da Nokia que transforma qualquer LLM causal num modelo de decisão estilo Jev sem treino, com correção do viés de ordem das opções.

Por que não é um modelo

Sem treino: lê respostas tipadas dos logits de próximo token de qualquer LLM, com média sobre rotações das opções (L0). Sem pesos de decisão próprios.

LLMs base
any causal LLM (Transformers, vLLM, SGLang, llama.cpp), Qwen3-8B (examples)
Types
choice · score · boolean
Stars
~1,167
Ver detalhes

bandr.ai (bandr-ai)

Bandits · receita Your own Jev

MétodoResearch

Receita do toolkit Bandits que faz LoRA no Qwen3.5-4B-Base para virar juiz de passos de traces de agente com seus rótulos. Sem checkpoint, sem licença, sem servidor.

Por que não é um modelo

Entrega receita de treino, não modelo: LoRA no Qwen3.5-4B-Base, UI local de treino, placar vs Jev via /v1/systemone. Sem pesos publicados, sem licença.

LLMs base
Qwen/Qwen3.5-4B-Base
Types
choice
Stars
~28
Ver detalhes

classifier.dev

classifier.dev

Wrapper

Wrapper HTTP/CLI/MCP sobre Jev hospedado com escalação inteligente para LLMs de raciocínio em casos incertos.

Por que não é um modelo

Wrapper hospedado sobre a API do Jev — não é um modelo separado, apenas uma camada de conveniência.

LLMs base
jev-1.13
Types
choice · score · boolean
Ver detalhes

Cua AI

CUA-S1-FORMS

EspecialistaResearch

Especialista leve (~706k params) para pontuar ações em campos de formulário: use, check, click, skip.

Por que não é um modelo

Especialista de tarefa estreita para ações em campos de formulário — não é um modelo de decisão Sistema Um de propósito geral.

LLMs base
custom-706k
Types
choice
Stars
~706
Ver detalhes

vLLM Semantic Router

Decision 3.0 Free API

Runtime

API System One hospedada e gratuita para seis checkpoints Decision 3.0 existentes; a chave pode ser criada sem conta.

Por que não é um modelo

API hospedada que serve os checkpoints Decision 3.0 existentes; não publica pesos próprios adicionais treinados para decisão.

LLMs base
família vLLM-SR d3 (seis tamanhos, 0,6B–27B)
Types
choice · score · noul
Ver detalhes

Decision Models (Florian S)

Decision Models / REAX

Runtime

API hospedada compatível com Jev que serve checkpoints abertos de decisão via REAX, nos tiers Peer-to-Peer e UE.

Por que não é um modelo

Runtime hospedado sobre checkpoints abertos existentes; REAX é uma engine de serving, e o serviço não publica pesos próprios treinados para decisão.

LLMs base
vLLM-SR d3, Blink v0.3, Quyet-1.0-Large…
Types
choice · score · noul
Ver detalhes

FrontiersMindAI

DecisionFormer

Runtime

Biblioteca estilo Transformers para ajustar e servir modelos de decisão calibrados em qualquer backbone do HF: choice / noul / score num forward, servidor /v1/systemone, QLoRA, vLLM.

Por que não é um modelo

Biblioteca para ajustar, carregar e servir cabeças de decisão em qualquer modelo do Hugging Face. Não traz checkpoint próprio; a qualidade vem do backbone e dos dados que você treina.

LLMs base
any Hugging Face backbone, vllm-sr/d3-edge (README example), Qwen3.5 (Gated DeltaNet kernels)
Types
choice · noul · score
Stars
~20
Ver detalhes

wcole3 (independente)

jev-brain

Wrapper

Uma GPU, um modelo, duas APIs: servidor de chat vLLM mais um gateway /v1/systemone compatível com o Jev sobre o mesmo modelo, sem alteração.

Por que não é um modelo

Gateway que lê os logprobs das letras das opções de um modelo de chat sem alteração servido pelo vLLM. Pesos inalterados; nenhum treino de decisão próprio.

LLMs base
Gemma-4-31B (rodada do Decision Index), qualquer modelo de chat servido pelo vLLM
Types
choice · score · noul
Ver detalhes

mizorewww (independente)

Laya-MLX

Runtime

Runtime MLX nativo para os modelos de decisão tipada Laya, da ConvAI, em Apple Silicon, sem PyTorch nem API na nuvem. A versão 0.5.0 acompanha a Laya v0.4.12.

Por que não é um modelo

Porta MLX nativa da Laya da ConvAI: checkpoints FP16 convertidos e um motor de inferência para Apple Silicon. Nenhum treino de decisão próprio.

LLMs base
Types
choice · score · noul
Ver detalhes

notnotsamuel

LFM2.5-350M-RLCD

MétodoResearch

Método de pesquisa para scoring paralelo restrito em pesos congelados do LiquidAI LFM2.5-350M.

Por que não é um modelo

Scoring paralelo restrito em pesos LiquidAI inalterados — o nome 'RLCD' ≠ método de treino RLCD do TypeSafe.

LLMs base
LiquidAI/LFM2.5-350M
Types
choice
Ver detalhes

zhengxuyu

litjev

Método

Método leve que envolve checkpoints Qwen para servir decisões TypeSafe-compatíveis localmente.

Por que não é um modelo

Envolve checkpoints Qwen prontos como decisões em schema Jev — probabilidades não são calibradas por padrão.

LLMs base
Qwen
Types
choice · score · boolean
Ver detalhes

A tarefa Decision Maker, on-device, pontua choice, boolean e rubricas em EmbeddingGemma, Laya ou Gemma 4, inclusive com JSON no formato do Jev.

Por que não é um modelo

Tarefa on-device sobre EmbeddingGemma, Laya, GLiNER2.5-Decide e Gemma 4. Não treina nem publica pesos de decisão próprios.

LLMs base
EmbeddingGemma 2, EmbeddingGemma 1, Laya…
Types
choice · score · boolean
Ver detalhes

Ollama

Ollama

Runtime

O Ollama v0.35+ ganha um endpoint /v1/systemone nativo, compatível com a TypeSafe, e três modelos de decisão: nimble, tev1 e tev1:0.8b. Por enquanto só local.

Por que não é um modelo

Servidor de inferência. Desde a v0.35 serve modelos de decisão treinados por outros (Nimble, Tev1) num endpoint local /v1/systemone; não tem pesos de decisão próprios.

LLMs base
Bespoke-Nimble-9B, Tev1-4B-experimental, Tev1-0.8B-experimental
Types
choice · noul · score
Stars
~182,000
Ver detalhes

ollaya-dev

Ollaya

Runtime

Ollama para modelos de decisão: baixe e sirva modelos de decisão abertos localmente com API compatível com TypeSafe.

Por que não é um modelo

Serve modelos de decisão abertos localmente (Laya, Decider, NLI, GLiClass, Kev, Von); não treina pesos próprios — é infra de distribuição e inferência.

LLMs base
Types
choice · score · boolean
Stars
~935
Ver detalhes

ikermoel (Iker Moel Tacher)

Open Alternative to Jev

Runtime

Biblioteca Python (import so1) que empacota várias perguntas tipadas numa passada de um LLM open comum e lê os logits das letras das opções. Backends HF Transformers e vLLM.

Por que não é um modelo

Lê os logits das letras das opções em LLMs open comuns (Qwen) numa passada empacotada. Sem treino de decisão; calibração é uma temperatura opcional que você mesmo ajusta.

LLMs base
Qwen3.6-27B, Qwen3.5-4B, Qwen3.5-2B…
Types
choice · boolean · score
Stars
~54
Ver detalhes

API da OpenAI (GA desde 22/10/2026) que responde perguntas predicate, choice e score com o gpt-6-luna a US$ 0,10/M de input. Não é a do OpenRouter nem a da Perplexity.

Por que não é um modelo

Documentada como gpt-6-luna atrás de um endpoint tipado; sem pesos treinados para decisão, head ou model card. GA desde 22/10/2026, mesmo modelo.

LLMs base
GPT-6 Luna (gpt-6-luna)
Types
choice · score · boolean
Ver detalhes

deepanwadhwa (independente)

OpenDecision

Wrapper

Motor de decisão open source no estilo Jev, sobre um modelo NLI zero-shot ModernBERT-large congelado: Choice / Noul / Score / Relation, API de documentos e endpoint /v1/systemone.

Por que não é um modelo

Empacota um classificador NLI zero-shot pronto e congelado (ModernBERT-large) atrás de uma API no estilo Jev. Sem treino específico para decisão; o autor diz que os scores não são calibrados.

LLMs base
MoritzLaurer/ModernBERT-large-zeroshot-v2.0 (padrão), MoritzLaurer/deberta-v3-large-zeroshot-v2.0
Types
choice · noul · score
Stars
~57
Ver detalhes

OpenDecisions (unikcc, mantenedor do OneJev)

OpenDecisions

Runtime

Um servidor para modelos de decisão: roda o OneJev localmente (PyTorch ou llama.cpp) atrás de /v1/decisions e /v1/systemone e pode mandar perguntas de baixa confiança para o Jev hospedado.

Por que não é um modelo

Servidor e roteador. Serve os pesos do OneJev (catalogado à parte) e pode recorrer ao Jev hospedado; não tem pesos de decisão próprios.

LLMs base
OneJev-4B (padrão), OneJev 0.8B / 9B / 27B, Jev (hospedado, via TypeSafe ou OpenRouter)
Types
choice · noul · score
0
Ver detalhes

ekzhang

openjev-sglang

Runtime

Runtime baseado em SGLang que fornece endpoint /v1/systemone TypeSafe-compatível sobre Qwen3.6-35B-A3B.

Por que não é um modelo

Endpoint TypeSafe-compatível sobre Qwen via hack de prefill/logprob do SGLang — não é um modelo de decisão treinado.

LLMs base
Qwen3.6-35B-A3B
Types
choice · score · boolean
Ver detalhes

Parallel Web Systems

Parallel Decisions API

Wrapper

API de decisões da Parallel com busca na web (lançada em 27/10/2026): sim/não, escolha e score com fontes, US$ 1 por mil chamadas, 5 mil grátis.

Por que não é um modelo

Serviço hospedado que busca evidência na web ao vivo e responde perguntas tipadas; a Parallel não publica modelo de decisão, pesos nem card por trás.

LLMs base
não divulgado
Types
boolean · choice · score
Ver detalhes

alperiox

Prosodia

EspecialistaResearch

Decisões Jev-shaped nativas de áudio sem decode de ASR — processa áudio diretamente.

Por que não é um modelo

Especialista de modalidade áudio — não é um par Sistema Um baseado em texto; domínio de entrada completamente diferente.

LLMs base
whisper-encoder
Types
choice · score · noul
Ver detalhes

Decision Models (decisionmodels.io)

s1-llm-auto-router

Especialista

Roteador pequeno, MIT (mmBERT-small, ONNX), que responde sete perguntas fixas sobre uma requisição em ~26 ms na CPU para você escolher o LLM. Também na API da Decision Models.

Por que não é um modelo

Especialista de uma tarefa (roteamento de LLM): responde só sete perguntas fixas com opções fixas, então não compete com modelos System One de uso geral.

LLMs base
mmBERT-small
Types
choice · score · noul
Ver detalhes

TheoLeeCJ

SemIf

Runtime

Runtime browser-first que extrai decisões tipadas de LLMs open congelados via WebGPU/wllama.

Por que não é um modelo

Lê logits de opções tipadas de LLMs open congelados — sem pesos de decisão treinados, apenas extração de logits em tempo de inferência.

LLMs base
Qwen3.5-4B, MiniCPM5-2B, MiniCPM5-4B…
Types
choice · score · boolean
Stars
~1,900
Ver detalhes

Featherless AI

simple-jev

Runtime

Stack Featherless que converte qualquer LLM open em classificador de decisão tipado via logits do próximo token.

Por que não é um modelo

Transforma qualquer LM open compatível em classificador tipado via logits do próximo token — sem fine-tuning necessário.

LLMs base
any-open-lm
Types
choice · score · noul
Ver detalhes

Snowflake

Snowflake Decision

Wrapper

Modelo de decisão da Snowflake via AI_COMPLETE (model snowflake-decision), em preview privado: choice, score e verdadeiro/falso sobre linhas de tabela em SQL.

Por que não é um modelo

Modelo do Cortex em preview privado; base, pesos e treino não divulgados. Reavaliar se a Snowflake documentar um modelo treinado para decisão ou abrir o acesso.

LLMs base
não divulgado
Types
choice · score · boolean
Ver detalhes

Upstage

Solar Decide

Wrapper

Endpoint System One em beta da Upstage (POST /v1/systemone), também no OpenRouter, que lê decisões dos logits de rótulos do Solar Mini 4. Até 26 opções por pergunta.

Por que não é um modelo

A Upstage serve no Solar Mini 4 e lê a decisão dos logits de rótulos de um token, de A a Z. Sem pesos, head ou model card de decisão documentados e sem benchmark independente.

LLMs base
Solar Mini 4
Types
choice · score · noul
Ver detalhes

StartLux Labs

StartLux-Prism

Runtime

Motor NVIDIA rápido para os GGUF do StartLux-Decision atrás de /v1/systemone: int8 e 4 bits, respostas idênticas bit a bit, autor diz até 5,3x menos latência que vLLM FP8.

Por que não é um modelo

Motor de inferência para os GGUF já publicados do StartLux-Decision em GPUs NVIDIA. Prompts, leituras e regras são do modelo; só o forward pass é novo.

LLMs base
StartLux-Decision v1 (4B, 9B, 27B), StartLux-Decision v1.1 AutoThink (4B, 9B, 27B)
Types
choice · noul · score
Stars
~57
Ver detalhes

Hugging Face

transformers serve

Runtime

A main do Transformers (PR 50054, mesclado em 9/11/2026) adiciona DecisionPipeline para choice, score e noul. Não está na tag v5.22.2. O endpoint /v1/systemone de outubro continua.

Por que não é um modelo

Servidor de referência. Desde a v5.20.0 o `transformers serve` expõe /v1/systemone para qualquer modelo autorregressivo; não tem pesos de decisão próprios.

LLMs base
any autoregressive model
Types
choice · noul · score
Stars
~168,000
Ver detalhes

TypeLLM

TypeLLM

Runtime

Runtime baseado em SGLang para geração type-safe em LLMs autoregressivos, com modo thinking e input de imagem. Open source e, desde 29/09/2026, também playground e API hospedados.

Por que não é um modelo

Camada de constrained decoding sobre LLMs autoregressivos existentes — não muda arquitetura nem pesos.

LLMs base
Qwen3.8-27B, Qwen3.5-0.8B, Qwen3.5-4B…
Types
choice · boolean · integer · number · string
Stars
~885
Ver detalhes

vLLM project

vLLM (upstream)

Runtime

O vLLM v0.32.0 (18/10/2026) serve /v1/systemone por padrão: perguntas choice, noul e score lidas das log-probabilidades do primeiro token. Separado do vllm-jev, projeto de terceiros.

Por que não é um modelo

Motor de inferência. Desde a v0.32.0 serve /v1/systemone para modelos treinados por outros; não traz pesos de decisão e lê as respostas das log-probabilidades do primeiro token.

LLMs base
Clef-Omni, Clef-Flash, vllm-sr d3 family…
Types
choice · noul · score
Stars
~94,000
Ver detalhes

mode-io

vLLM Jev

Runtime

Serving nativo em vLLM (Linux) e Apple Silicon para checkpoints open no estilo Jev: Choice/Noul/Score via HTTP /v1/systemone, inclusive Valen multimodal.

Por que não é um modelo

Motor de serving para checkpoints Jev-style já existentes (vLLM no Linux, MLX/MPS no Mac). Sem treino de decisão — só escolhe o protocolo e roda inferência.

LLMs base
ZefanCai/Open-Jev-2B, OpenJev-0.6B, Tiny-Jev…
Types
choice · boolean · score
Stars
~94
Ver detalhes