s1-llm-auto-router

Última atualização:

EspecialistaMIT

⚠️ Por que não é um modelo

Especialista de uma tarefa (roteamento de LLM): responde só sete perguntas fixas com opções fixas, então não compete com modelos System One de uso geral.

Especificações técnicas

LLMs base
mmBERT-small
Tipos de decisão
choice, score, noul
Features
llm-routing, cpu-onnx, multilingual-22, fixed-schema, hosted-api
Licença
MIT

O s1-llm-auto-router é um modelo de decisão pequeno da Decision Models, a plataforma de inferência ligada à Subnet 92 do Bittensor (REAX). Foi publicado com pesos abertos em 15 de outubro de 2026, sob licença MIT. Ele lê a mensagem do usuário antes de você mandá-la para algum lugar e responde as perguntas que um roteador automático precisa para escolher o modelo.

Escopo estreito

Os pesos são treinados, mas para uma tarefa só. O modelo responde exatamente sete perguntas, com exatamente estas opções:

Pergunta Tipo Resposta
category choice coding, agentic, math, knowledge, long_context, tool_use, design, summarisation, general
difficulty score (5 níveis) trivial → frontier
stakes score (4 níveis) negligible → high
needs_tools, needs_vision, needs_long_context, follow_up noul probabilidade

Não dá para mandar pergunta ou rótulos próprios. Por isso ele fica aqui, e não no catálogo de modelos, como o CUA-S1-FORMS.

Detalhes técnicos

  • Base: jhu-clsp/mmBERT-small (MIT), podado para 11 camadas e destilado de um professor mmBERT-base ajustado, com sete cabeças de classificação e temperaturas por cabeça no meta.json.
  • Formato: ONNX com embeddings int8 (183 MB) e tokenizer rápido. Não precisa de PyTorch nem de transformers.
  • Entrada: a mensagem do usuário (512 tokens no total) mais um resumo opcional da conversa (os primeiros 600 caracteres).
  • Hospedado: id s1-llm-auto-router em https://api.decisionmodels.io/v1/systemone, USD/EUR 0,001 por milhão de tokens de entrada no lançamento, saída grátis.

Números (UnverifiedClaim)

Todos do card, medidos pela própria publicadora:

  • Latência: cerca de 14 ms de p50 / 47 ms de p99 por requisição (as sete respostas) em 4 núcleos de um AMD EPYC 9555, 26 ms de p50 num Xeon mais antigo; cerca de 93 ms de p50 de ponta a ponta pela API hospedada.
  • Teste de roteamento: 2.175 requisições sintéticas em 22 idiomas, rótulos ouro por votação de até cinco LLMs abertos. Concordância de roteamento 0,742, contra 0,630 do Jev 1.13 (hospedado), 0,577 do Winnow-12B e 0,622 do Weiche-395M. Acurácia de categoria 0,898 contra 0,845 do Jev.
  • Conjunto cego pequeno: 100 requisições rotuladas pelo Claude Opus, concordância de 0,60 contra 0,57 do Jev (o próprio card fala em ±8 pontos nesse tamanho).

A publicadora lembra que o Jev é um modelo geral e que essa tarefa fixa está fora do que ele foi feito para fazer, e diz que não ranqueia modelos próprios no JevBench, que ela mesma opera.

O post de lançamento também anuncia um projeto conjunto com o msg group, consultoria de TI alemã, que vai avaliar o modelo num projeto interno. É um plano anunciado, ainda não um relato de produção.

Por que está listado aqui (não em Modelos)

É um especialista. Tem pesos treinados, mas schema fixo, e não aceita perguntas tipadas arbitrárias. Colocá-lo no quadrante seria comparar um roteador de sete perguntas com modelos de decisão gerais.