Fabio Akita sobre o hype do Jev: quatro auditorias independentes recalculadas, e onde as probabilidades quebram
O Fabio Akita, um dos desenvolvedores mais lidos do Brasil, publicou “Entendendo o Hype do Jev: pra que serve?” em 3 de outubro de 2026 (versão em inglês). A tese: o Jev é um classificador hospedado bom e barato para decisão repetida sobre texto. Não é bala de prata. O espanto em volta dele diz mais sobre times usando LLM de fronteira como classificador caro do que sobre o produto.
O que tem de fato no texto. O Akita não rodou benchmark próprio. Ele mesmo diz: a tabela de ranking do post é o arquivo público do Decision Index 0.2.1 refeito, e os números do Clef são da rodada da própria Cloudflare. O núcleo é um ensaio de Paulo Câmara, CTO da LUA Vision. Ele classificou uns 350 repositórios do GitHub que testaram o Jev na semana de lançamento (89 com dado bruto, código, versão fixada e estatística; só 11 pré-registrados) e recalculou quatro estudos do zero. Ele avisa que a empresa dele faz modelos concorrentes.
Reconferimos esses quatro estudos a partir dos dados brutos publicados:
| Estudo | Resultado |
|---|---|
| Sorteios justos (1.000 pedidos) | O Jev escolheu a primeira opção da lista em 1.000 de 1.000 casos, com probabilidade declarada de 0,70–0,94 para eventos cuja chance real é de 1/6 a 1/2. Uma replicação com 2.000 pedidos mostra que a palavra também pesa (“cara” venceu mesmo listada em segundo) |
| ENEM 2025 (182 questões, português) | 103/182 contra 102 do Nemotron 3 Super 120B, empate estatístico (p = 1,0). Linguagens 78%, Matemática 25% (chute = 20%). As 39 respostas com confiança acima de 0,9 estavam todas certas |
| Risco cardíaco (5.000 respondentes de pesquisa do CDC) | Risco médio declarado de 27,4% contra taxa real de 9,0%. O Brier é pior do que dizer 9% para todo mundo (skill −1,32), embora a ordenação seja aproveitável (AUC 0,77) |
| Verificação de afirmações (495 afirmações) | Empata com o GPT-6 Astra em acurácia balanceada (73,3 contra 73,8) a um custo cerca de 187× menor, mas chama de “sustentada” uma afirmação sem apoio em 23,2% dos casos, contra 14,1% |
O ensaio também trata de prompt injection, com preprints e estudos pequenos que não reconferimos. O ataque grosseiro quase nunca passa (1 em 1.056). O texto plausível sem fonte passa: uma única opinião não verificada colada no fim do texto virou 12,1% das decisões. Trocar o rótulo das opções de “0/1” para “no/yes” inverteu 70 de cada 100 respostas. O veredito: rápido (100–400 ms), barato, empata com o topo em julgamentos estreitos, confiável acima de 0,9 em dado parecido com o que já viu, e bom detector de injeção. Não serve como guarda único de agente, e não é calibrado como regra geral.
A segunda metade do post é prática: quando um modelo do tipo Jev serve (triagem de ticket, ranking de lista curta, roteamento de modelo, sinalização de trace de agente), quando não serve (imagem, prosa, parser exato, ação destrutiva) e como fazer um piloto curto com os seus dados rotulados. Também compara o Clef e o Laya e mostra como rodar o kit do Decision Index.
Limites de método. Cada estudo usa um único dataset com um desenho de prompt, quase todos em inglês. A evidência em português é uma prova só. O autor do ensaio disputa o mesmo mercado. A contribuição do Akita é o enquadramento e o guia prático, não medição.
O que muda no site. Os quatro estudos e os números do placar entram na página do Jev como evidência independente de terceiros. A capability do Jev vai de 8,2 para 8,1. O subscore de calibração cai de 8 para 7, porque probabilidades confiantes e erradas fora da distribuição de treino agora aparecem em vários estudos reproduzíveis com dado bruto público. O de acurácia sobe de 7 para 8 pelo 1º lugar do Jev no placar público do Decision Index 0.2.1 (57,91). Laya e Hopper ganham o resultado oficial no Decision Index nas seções de evidência, sem mudança de nota.