AutoJev-27B

Última atualização:

Aberto—$0.02/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade6.6/10

    Pesos Apache-2.0 e código MIT com servidor /v1/systemone e, desde 01/10, os mesmos pesos como API hospedada e paga da Perplexity (US$ 0,02/M desde 6/10 de input), com quickstart, referência OpenAPI, rate limits e cookbook. O endpoint hospedado é preview (gateway-preview v0.1.0), em caminho próprio, sem SLA.

  • Capability7.6/10

    JevBench oficial (17/10): Intelligence 55,6, calibração 87,6, p50 0,097 s. Noul, Choice e Score numa passada. O ajuste de temperatura está documentado. Sem números de latência.

  • Adoção24/100

    O post de lançamento da Perplexity chegou a ~540 likes e ~116 mil views em poucas horas, e a Perplexity agora serve o modelo. Antes disso: ~47 likes e ~mil downloads no HF, 110 estrelas no GitHub e um GGUF da comunidade. Ainda sem usuários de produção nomeados.

Vendor claims

Notícias sobre este modelo

Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

Leia antes A Decisions API da Perplexity serve exatamente estes pesos. O perplexity-ai/pplx-decider-v1-27b (Hugging Face, 01/10 18:24 BRT, Apache-2.0) tem arquivos idênticos byte a byte aos do denis-pplx/autojev-27b: mesmo SHA-256 nos 11 shards safetensors, no readout.safetensors, no config.json e no decision_config.json. O NOTICE chama o modelo de “AutoJev 27B curated SFT checkpoint” e o repo traz o código do autojev. Ou seja, o pplx-decider-v1-27b hospedado é esta ficha, não um modelo novo. A Perplexity não diz isso no post de lançamento; a comparação de hashes é nossa (01/10).

O AutoJev-27B é um modelo de decisão aberto publicado pelo usuário denis-pplx no Hugging Face e no GitHub em 19 de setembro de 2026. É um fine-tune com todos os pesos do Qwen/Qwen3.8-27B que devolve probabilidades sobre as opções que você manda, numa passada por pergunta. O repo traz um servidor que fala POST /v1/systemone com choice, noul e score, um playground no navegador e suporte opcional a imagens em base64.

O autor descreve o projeto como uma “independent implementation inspired by Jev”. Não é produto da TypeSafe e, pelo que o card diz, não foi treinado com saídas do Jev. Também não tem relação com os modelos JEV da AutoTrust (hoje no catálogo como GEV-26B-Decide), que têm nome parecido.

O v1.1 é outro modelo (6/10/2026). O pplx-decider-v1.1-27b da Perplexity é um treino novo sobre o mesmo Qwen3.8-27B (atenção não causal, mais dados) e virou o modelo padrão da API, com ficha própria. Esta ficha continua no v1 = AutoJev-27B, que a API segue servindo como pplx-decider-v1-27b, agora a US$ 0,02/M de input.

Decisions API da Perplexity (1º de outubro de 2026)

O @perplexitydevs lançou uma Decisions API em 1º de outubro de 2026 (15:24 BRT; ~540 likes e ~116 mil views até a noite).

Atributo Valor
Endpoint POST https://api.perplexity.ai/v1/decisions, modelo pplx-decider-v1-27b
Corpo Formato System One (state, questions) com noul, choice, score e imagens, em caminho próprio (não /v1/systemone)
Preço US$ 0,02 / M tokens de input desde 6/10/2026 (lançou a US$ 0,04); tokens de output grátis; sem taxa por request
Limites 10 requests/s por organização; contexto de ~250 mil tokens segundo o post de lançamento
Tempo (testes da Perplexity, 30/09) algumas centenas de tokens em menos de 2 s; ~90 mil tokens em 5 s; ~190 mil tokens em 14 s
Status OpenAPI rotulada “gateway-preview” v0.1.0
Pesos perplexity-ai/pplx-decider-v1-27b, idênticos ao AutoJev-27B

Gráfico da Perplexity (UnverifiedClaim): 85,71% geral vs Jev 84,51% num painel de 11 benchmarks, 7.210 linhas rodadas pela própria API; o Jev fica à frente em WinoGrande, BBH, JevBench hard, TruthfulQA, Belebele e JudgeBench. O cookbook mostra triagem de tickets.

O campo company agora diz “denis-pplx · hospedado pela Perplexity”. O post da Perplexity chama o modelo de “our multimodal decision model” sem citar o AutoJev; o handle do autor sugere que ele trabalha na Perplexity, mas nenhum dos dois lados afirma isso.

Ficha

Atributo Valor
Autor denis-pplx (HF + GitHub)
Lançamento 19/09/2026 (repo no HF às 16:54 BRT; repo no GitHub criado no mesmo dia)
Modelo base Qwen/Qwen3.8-27B
Parâmetros 26,1B (BF16, ~49 GiB de pesos)
Treino SFT com todos os pesos numa H200, 73.000 exemplos únicos, 286 updates; publicado o checkpoint 200; temperatura escalar ajustada à parte
Dados de treino Gerados e curados pelo pipeline de agentes do autor; o corpus exato não vem no pacote
API POST /v1/systemone (choice, noul, score, images opcional); docs FastAPI em /docs
Licença Pesos Apache-2.0, código MIT
Latência Sem números publicados (0–0ms no frontmatter quer dizer “sem dado”)

Decision Index 0.2.1 (Space oficial)

Medido pelo Space oficial do Decision Index (dados de 28/09/2026, 71 sistemas):

Sistema Index (balanced skill) Posição
Jev 1.13 57,91 #1
Surogate Rune 26B-A4B v3 57,44 #2
AutoJev-27B 56,40 #4
simple-jev (Qwen3.8-27B, runtime) 55,74 #5

O índice também mede calibração: para o AutoJev-27B, acurácia 0,730, confiança média 0,738, ECE 0,018 e Brier 0,361. É mais apertado que o ECE informado pelo próprio autor.

Vale notar a distância para o simple-jev, que usa a mesma base Qwen3.8-27B congelada: 0,66 ponto. A maior parte da acurácia do AutoJev vem do modelo base; o fine-tune acrescenta uma leitura de decisão treinada e calibração melhor.

Resultados do próprio autor (UnverifiedClaim)

Modelo Acurácia geral ECE Brier
Qwen3.8-27B 69,83% 0,0648 0,408
AutoJev-27B 84,60% 0,0428 0,220
Jev 82,79% 0,0527 0,254

Esses números vêm do conjunto held-out curado pelo autor (holdout-v3), que não é público. Ganhar do Jev no próprio conjunto de teste é outra afirmação, diferente de empatar com o Jev em suítes públicas; no índice oficial o AutoJev fica 1,5 ponto abaixo do Jev.

GGUF da comunidade

O thomasgauthier/autojev-27b-GGUF traz um quant Q4_K_M e o projetor de visão (~3 mil downloads). Ele não roda no llama.cpp oficial nem no LM Studio: é preciso o fork jev.cpp, que adiciona o head classificador do AutoJev e a flag --system-one no servidor. Outra cópia, arafathusayn/autojev-27b, é só um reupload.

Quando usar / quando não usar

Serve quando você precisa de: um endpoint local compatível com a TypeSafe e com calibração boa medida por terceiros, decisões de gating e roteamento de agentes, ou uma base para estudar (o código de treino é público).

Não serve quando você precisa de: GPU pequena (cerca de 49 GiB de pesos BF16 mais overhead), latência publicada, acurácia em imagens naturais (o autor diz que o suporte a imagem não é promessa de acurácia) ou acesso ao corpus de treino.

Limites

  • O corpus de treino não é público; a acurácia de destaque é num held-out privado.
  • O card ainda diz “while the weights are private, authenticate”; o repo estava público e sem gate quando checamos em 30/09/2026.
  • “Feito por agentes autônomos” descreve o processo do autor; não muda a forma como o modelo é avaliado aqui.
  • Sem latência p50/p99; a Perplexity só dá tempos aproximados por tamanho de input.

Os pesos passaram por fine-tune completo para decisão tipada e vêm com servidor aberto compatível com o System One que devolve probabilidades. Isso passa nos critérios do catálogo. O índice oficial coloca o modelo entre as melhores entradas abertas.

JevBench v1.6.1 (Benchmark Heaven, conferido em 7/10/2026)

No placar de pesos abertos do v1.6.1 (entrou em 7/10; não comparável com o v1.5.7), o AutoJev-27B é #46 com 18,5. A capability é 71,6 (Intelligence 55,6, Calibration 87,6, p50 bruto 0,34 s), mas o self-host custa US$ 0,23 por 1.000 decisões (7,0× o Jev), então fica fora do limite Jev-class. O Decision Index 0.3 tirou o pplx-decider v1 (estes pesos) como substituído pelo v1.1. Veja a news. Notas do catálogo inalteradas.

JevBench v1.5.7 (edição anterior, conferida em 5/10/2026; não comparável com o v1.6)

O AutoJev-27B está em #55 com oficial 19,5 no v1.5.7. Ver news. Sem mudança de nota.

Auditoria dos placares (17/10/2026)

Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar Linha Resultado
JevBench pesos abertos (ao vivo 17/10) AutoJev-27B Capability 71,6; Intelligence 55,6; calibração 87,6; p50 0,097 s; US$ 0,23/1k
ImageJevBench v0.3.0 AutoJev-27B Capability 62,1; Intelligence 37,6; calibração 86,7; p50 0,48 s; US$ 0,054/1k
ImageJevBench arquivo v0.1.5 (congelado) AutoJev-27B Capability 75,9; Intelligence 69,3; calibração 82,4; p50 0,43 s; US$ 0,049/1k

Atualização da nota (auditoria, 17/10/2026). Capability 7,2 → 7,6 = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 8 × 0,30 + 8 × 0,25 + 7 × 0,25 + 7 × 0,20 = 7,55 → 7,6. Tipos, calibração e latência vêm da conta anterior (8 / 8 / 7); só a acurácia é refeita pelo placar (7; era 5): JevBench Intelligence 55,6 ÷ 63,6 × 8 = 7,0, arredondado para cima. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (denis-pplx/autojev-27b): 3.056 downloads, 52 likes, tag de licença apache-2.0, última modificação 2026-09-22.