vLLM (upstream)
⚠️ Por que não é um modelo
Motor de inferência. Desde a v0.32.0 serve /v1/systemone para modelos treinados por outros; não traz pesos de decisão e lê as respostas das log-probabilidades do primeiro token.
Especificações técnicas
- LLMs base
- Clef-Omni, Clef-Flash, vllm-sr d3 family, Qwen3, Qwen3.5, LiquidAI/d1-3B, DiffusionGemma
- Tipos de decisão
- choice, noul, score
- Features
- systemone-endpoint, served-by-default, first-token-logprobs, multi-question, openai-decisions-route, gpu-serving
- Licença
- Apache-2.0
Links
publicado (OK do Fabricio 18/10 BRT).
O vLLM, o motor de serving em GPU mais usado, ganhou um endpoint /v1/systemone que é servido por padrão na v0.32.0 (18/10/2026). Este é o projeto upstream. Não é o vllm-jev, um wrapper de terceiros à parte.
Superfície suportada
- Endpoint:
POST /v1/systemone(novo no #59299, ligado por padrão no #60677 e no #60696). Uma rota/v1/decisionssó de texto, no estilo da OpenAI, vem na mesma versão. - Tipos de pergunta:
choice,noulescore. As docs dão limites de 64 perguntas por requisição, 26 opções e 10 níveis de score, e dizem que o rótulo é o primeiro token da resposta. - Lido das log-probabilidades: suba o servidor com
--logprobs-mode raw_logprobsouprocessed_logprobs. Modelo sem estratégia de leitura conhecida recebe HTTP 501. - Modelos documentados: Clef-Omni (#61064), Clef-Flash, a família d3 do vllm-sr, Qwen3 e Qwen3.5, Liquid d1-3B (#60676) e DiffusionGemma (#60466).
Ressalvas
- As docs dizem que as probabilidades podem variar com o batching e o estado do cache de prefixo, então não conte com resultado idêntico bit a bit.
- A v0.32.0 fixa
transformers>=5.16.1,<5.20.0, então ainda não combina com o transformers v5.20.0, que tem o próprio endpoint notransformers serve. - A qualidade das respostas depende inteira do modelo. A calibração de um Qwen base lido assim não é a mesma de um modelo treinado para dar probabilidades calibradas.
Por que não é um modelo
O vLLM não treina nada. É infraestrutura de serving que lê respostas tipadas de modelos que outros times treinaram, na mesma classe de Ollama, Ollaya e vllm-jev, então fica fora do quadrante.