AutoJev-27B
Notas do quadrante
Ver o quadrante completoPontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.
- Maturidade6.6/10
Pesos Apache-2.0 e código MIT com servidor /v1/systemone e, desde 01/10, os mesmos pesos como API hospedada e paga da Perplexity (US$ 0,02/M desde 6/10 de input), com quickstart, referência OpenAPI, rate limits e cookbook. O endpoint hospedado é preview (gateway-preview v0.1.0), em caminho próprio, sem SLA.
- Capability7.6/10
JevBench oficial (17/10): Intelligence 55,6, calibração 87,6, p50 0,097 s. Noul, Choice e Score numa passada. O ajuste de temperatura está documentado. Sem números de latência.
- Adoção24/100
O post de lançamento da Perplexity chegou a ~540 likes e ~116 mil views em poucas horas, e a Perplexity agora serve o modelo. Antes disso: ~47 likes e ~mil downloads no HF, 110 estrelas no GitHub e um GGUF da comunidade. Ainda sem usuários de produção nomeados.
Vendor claims
- Acurácia geral de 84,60% vs Jev 82,79% e Qwen3.8-27B 69,83%; ECE 0,043 vs Jev 0,053 (conjunto held-out do próprio autor)[Claim do fornecedor — não verificado independentemente]
- Uma H200, SFT com todos os pesos, 73.000 exemplos únicos, 286 updates; o checkpoint publicado é o do passo 200[Claim do fornecedor — não verificado independentemente]
- Pesquisa, geração de dados, treino, avaliação e deploy executados por agentes autônomos[Claim do fornecedor — não verificado independentemente]
- Perplexity Decisions API (pplx-decider-v1-27b): 85,71% geral vs Jev 84,51% num painel de 11 benchmarks (7.210 linhas, medidas pela API da Perplexity); o Jev vence em WinoGrande, BBH, JevBench hard, TruthfulQA, Belebele e JudgeBench[Claim do fornecedor — não verificado independentemente]
Notícias sobre este modelo
Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.
Leia antes A Decisions API da Perplexity serve exatamente estes pesos. O
perplexity-ai/pplx-decider-v1-27b(Hugging Face, 01/10 18:24 BRT, Apache-2.0) tem arquivos idênticos byte a byte aos dodenis-pplx/autojev-27b: mesmo SHA-256 nos 11 shards safetensors, noreadout.safetensors, noconfig.jsone nodecision_config.json. O NOTICE chama o modelo de “AutoJev 27B curated SFT checkpoint” e o repo traz o código doautojev. Ou seja, opplx-decider-v1-27bhospedado é esta ficha, não um modelo novo. A Perplexity não diz isso no post de lançamento; a comparação de hashes é nossa (01/10).
O AutoJev-27B é um modelo de decisão aberto publicado pelo usuário denis-pplx no Hugging Face e no GitHub em 19 de setembro de 2026. É um fine-tune com todos os pesos do Qwen/Qwen3.8-27B que devolve probabilidades sobre as opções que você manda, numa passada por pergunta. O repo traz um servidor que fala POST /v1/systemone com choice, noul e score, um playground no navegador e suporte opcional a imagens em base64.
O autor descreve o projeto como uma “independent implementation inspired by Jev”. Não é produto da TypeSafe e, pelo que o card diz, não foi treinado com saídas do Jev. Também não tem relação com os modelos JEV da AutoTrust (hoje no catálogo como GEV-26B-Decide), que têm nome parecido.
O v1.1 é outro modelo (6/10/2026). O pplx-decider-v1.1-27b da Perplexity é um treino novo sobre o mesmo Qwen3.8-27B (atenção não causal, mais dados) e virou o modelo padrão da API, com ficha própria. Esta ficha continua no v1 = AutoJev-27B, que a API segue servindo como
pplx-decider-v1-27b, agora a US$ 0,02/M de input.
Decisions API da Perplexity (1º de outubro de 2026)
O @perplexitydevs lançou uma Decisions API em 1º de outubro de 2026 (15:24 BRT; ~540 likes e ~116 mil views até a noite).
| Atributo | Valor |
|---|---|
| Endpoint | POST https://api.perplexity.ai/v1/decisions, modelo pplx-decider-v1-27b |
| Corpo | Formato System One (state, questions) com noul, choice, score e imagens, em caminho próprio (não /v1/systemone) |
| Preço | US$ 0,02 / M tokens de input desde 6/10/2026 (lançou a US$ 0,04); tokens de output grátis; sem taxa por request |
| Limites | 10 requests/s por organização; contexto de ~250 mil tokens segundo o post de lançamento |
| Tempo (testes da Perplexity, 30/09) | algumas centenas de tokens em menos de 2 s; ~90 mil tokens em 5 s; ~190 mil tokens em 14 s |
| Status | OpenAPI rotulada “gateway-preview” v0.1.0 |
| Pesos | perplexity-ai/pplx-decider-v1-27b, idênticos ao AutoJev-27B |
Gráfico da Perplexity (UnverifiedClaim): 85,71% geral vs Jev 84,51% num painel de 11 benchmarks, 7.210 linhas rodadas pela própria API; o Jev fica à frente em WinoGrande, BBH, JevBench hard, TruthfulQA, Belebele e JudgeBench. O cookbook mostra triagem de tickets.
O campo company agora diz “denis-pplx · hospedado pela Perplexity”. O post da Perplexity chama o modelo de “our multimodal decision model” sem citar o AutoJev; o handle do autor sugere que ele trabalha na Perplexity, mas nenhum dos dois lados afirma isso.
Ficha
| Atributo | Valor |
|---|---|
| Autor | denis-pplx (HF + GitHub) |
| Lançamento | 19/09/2026 (repo no HF às 16:54 BRT; repo no GitHub criado no mesmo dia) |
| Modelo base | Qwen/Qwen3.8-27B |
| Parâmetros | 26,1B (BF16, ~49 GiB de pesos) |
| Treino | SFT com todos os pesos numa H200, 73.000 exemplos únicos, 286 updates; publicado o checkpoint 200; temperatura escalar ajustada à parte |
| Dados de treino | Gerados e curados pelo pipeline de agentes do autor; o corpus exato não vem no pacote |
| API | POST /v1/systemone (choice, noul, score, images opcional); docs FastAPI em /docs |
| Licença | Pesos Apache-2.0, código MIT |
| Latência | Sem números publicados (0–0ms no frontmatter quer dizer “sem dado”) |
Decision Index 0.2.1 (Space oficial)
Medido pelo Space oficial do Decision Index (dados de 28/09/2026, 71 sistemas):
| Sistema | Index (balanced skill) | Posição |
|---|---|---|
| Jev 1.13 | 57,91 | #1 |
| Surogate Rune 26B-A4B v3 | 57,44 | #2 |
| AutoJev-27B | 56,40 | #4 |
| simple-jev (Qwen3.8-27B, runtime) | 55,74 | #5 |
O índice também mede calibração: para o AutoJev-27B, acurácia 0,730, confiança média 0,738, ECE 0,018 e Brier 0,361. É mais apertado que o ECE informado pelo próprio autor.
Vale notar a distância para o simple-jev, que usa a mesma base Qwen3.8-27B congelada: 0,66 ponto. A maior parte da acurácia do AutoJev vem do modelo base; o fine-tune acrescenta uma leitura de decisão treinada e calibração melhor.
Resultados do próprio autor (UnverifiedClaim)
| Modelo | Acurácia geral | ECE | Brier |
|---|---|---|---|
| Qwen3.8-27B | 69,83% | 0,0648 | 0,408 |
| AutoJev-27B | 84,60% | 0,0428 | 0,220 |
| Jev | 82,79% | 0,0527 | 0,254 |
Esses números vêm do conjunto held-out curado pelo autor (holdout-v3), que não é público. Ganhar do Jev no próprio conjunto de teste é outra afirmação, diferente de empatar com o Jev em suítes públicas; no índice oficial o AutoJev fica 1,5 ponto abaixo do Jev.
GGUF da comunidade
O thomasgauthier/autojev-27b-GGUF traz um quant Q4_K_M e o projetor de visão (~3 mil downloads). Ele não roda no llama.cpp oficial nem no LM Studio: é preciso o fork jev.cpp, que adiciona o head classificador do AutoJev e a flag --system-one no servidor. Outra cópia, arafathusayn/autojev-27b, é só um reupload.
Quando usar / quando não usar
Serve quando você precisa de: um endpoint local compatível com a TypeSafe e com calibração boa medida por terceiros, decisões de gating e roteamento de agentes, ou uma base para estudar (o código de treino é público).
Não serve quando você precisa de: GPU pequena (cerca de 49 GiB de pesos BF16 mais overhead), latência publicada, acurácia em imagens naturais (o autor diz que o suporte a imagem não é promessa de acurácia) ou acesso ao corpus de treino.
Limites
- O corpus de treino não é público; a acurácia de destaque é num held-out privado.
- O card ainda diz “while the weights are private, authenticate”; o repo estava público e sem gate quando checamos em 30/09/2026.
- “Feito por agentes autônomos” descreve o processo do autor; não muda a forma como o modelo é avaliado aqui.
- Sem latência p50/p99; a Perplexity só dá tempos aproximados por tamanho de input.
Por que está no catálogo
Os pesos passaram por fine-tune completo para decisão tipada e vêm com servidor aberto compatível com o System One que devolve probabilidades. Isso passa nos critérios do catálogo. O índice oficial coloca o modelo entre as melhores entradas abertas.
JevBench v1.6.1 (Benchmark Heaven, conferido em 7/10/2026)
No placar de pesos abertos do v1.6.1 (entrou em 7/10; não comparável com o v1.5.7), o AutoJev-27B é #46 com 18,5. A capability é 71,6 (Intelligence 55,6, Calibration 87,6, p50 bruto 0,34 s), mas o self-host custa US$ 0,23 por 1.000 decisões (7,0× o Jev), então fica fora do limite Jev-class. O Decision Index 0.3 tirou o pplx-decider v1 (estes pesos) como substituído pelo v1.1. Veja a news. Notas do catálogo inalteradas.
JevBench v1.5.7 (edição anterior, conferida em 5/10/2026; não comparável com o v1.6)
O AutoJev-27B está em #55 com oficial 19,5 no v1.5.7. Ver news. Sem mudança de nota.
Auditoria dos placares (17/10/2026)
Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.
| Placar | Linha | Resultado |
|---|---|---|
| JevBench pesos abertos (ao vivo 17/10) | AutoJev-27B | Capability 71,6; Intelligence 55,6; calibração 87,6; p50 0,097 s; US$ 0,23/1k |
| ImageJevBench v0.3.0 | AutoJev-27B | Capability 62,1; Intelligence 37,6; calibração 86,7; p50 0,48 s; US$ 0,054/1k |
| ImageJevBench arquivo v0.1.5 (congelado) | AutoJev-27B | Capability 75,9; Intelligence 69,3; calibração 82,4; p50 0,43 s; US$ 0,049/1k |
Atualização da nota (auditoria, 17/10/2026). Capability 7,2 → 7,6 = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 8 × 0,30 + 8 × 0,25 + 7 × 0,25 + 7 × 0,20 = 7,55 → 7,6. Tipos, calibração e latência vêm da conta anterior (8 / 8 / 7); só a acurácia é refeita pelo placar (7; era 5): JevBench Intelligence 55,6 ÷ 63,6 × 8 = 7,0, arredondado para cima. Maturidade e adoção inalteradas.
Hugging Face em 17/10 (denis-pplx/autojev-27b): 3.056 downloads, 52 likes, tag de licença apache-2.0, última modificação 2026-09-22.
Links
- Hugging Face: denis-pplx/autojev-27b
- GitHub: denis-pplx/autojev
- Perplexity: pplx-decider-v1-27b no Hugging Face · post de lançamento · news
- GGUF da comunidade (thomasgauthier) · fork jev.cpp
- Decision Index (Space oficial)
- News: Cinco modelos de decisão abertos do trending do HF
- Compare: Jev · Surogate Rune · simple-jev
