Red Hat compara modelos de decisão com guardrails clássicos: sem vitória clara, mas mais perto do que o título diz
O time de AI Safety da Red Hat (Rob Geada, Mac Misiura, Shelton Cyril) publicou um benchmark em 2 de outubro de 2026 que coloca modelos de decisão no estilo do Jev ao lado dos guardrails que a Red Hat já distribui. São nove configurações em duas tarefas em inglês com classes balanceadas (prompt injection; segurança de conteúdo / toxicidade), todas rodando no NeMo Guardrails com o EvalHub: classificadores pequenos pré-treinados (os padrões do OpenShift AI 3.6), BART-large-mnli, três LLMs juízes (Shieldstral 3B, Nemotron-3.5 Content Safety 4B, Qwen3.6-35B) e três modelos de decisão (Laya, DiffusionGemma no /v1/systemone do vLLM e Jev 1.13 pela API da TypeSafe).
O que as tabelas mostram.
| Configuração | Prompt injection | Segurança de conteúdo |
|---|---|---|
| Classificador pré-treinado (DeBERTa 200M / Granite Guardian HAP 125M) | 89,01%, 54 ms | 80,27%, 33 ms |
| Qwen3.6-35B (LLM juiz) | 89,31%, 313 ms | 85,47%, 308 ms |
| Nemotron-3.5, política própria | 84,84%, 240 ms | 85,07%, 242 ms |
| Jev 1.13 | 86,35%, 348 ms | 86,20%, 360 ms |
| DiffusionGemma (vLLM) | 87,72%, 562 ms | 85,53%, 499 ms |
| Laya | 85,44%, 119 ms | 57,87%, 118 ms (75,20% com política ajustada) |
Acurácia e latência mediana de ida e volta, segundo o artigo.
A conclusão da Red Hat. Onde existem dados rotulados, um classificador pequeno treinado é difícil de bater em custo e latência: em prompt injection o DeBERTa de 200M fica 0,30 ponto atrás do juiz de 35B, com um sexto da latência. Classificadores zero-shot são “uma alternativa capaz ao LLM-as-a-judge” quando não há classificador treinado, mas os autores “não encontraram respostas mais rápidas, mais baratas ou de maior qualidade” que as dos LLMs juízes, e apontam o tamanho do Laya como exceção.
Lendo com justiça. O título é mais forte que os dados. O Jev fica em primeiro em segurança de conteúdo e em quarto em prompt injection, a 3 pontos do topo; Jev e DiffusionGemma superam o classificador de conteúdo de 125M em 5 pontos ou mais, o que os próprios autores chamam de “sinal promissor”. A comparação de latência é desigual, pelo que o próprio artigo diz: o Jev foi chamado do Reino Unido para servidores nos EUA (no mínimo ~56 ms de rede), enquanto os classificadores pequenos rodaram localmente num M1. As políticas de risco foram adaptadas de prompts de LLM juiz, e a reescrita para o Laya mostra o quanto a redação mexe nos modelos de decisão (+17,8 pontos para o Laya, −3,7 para o Jev com a mesma política ajustada). Duas tarefas, só inglês. As tabelas têm pequenas inconsistências: as linhas do Shieldstral nas tabelas 1 e 2 parecem trocadas em relação ao apêndice; as medianas do DeBERTa e do BART divergem entre as tabelas principais e o apêndice (54,1 vs 80,4 ms; 144,2 vs 180,1 ms); o texto fala em “0,20 ponto” onde a tabela dá 0,30, e em “oito” guardrails quando são nove.
O que muda aqui. Nada nos scores. É um dado independente útil para a ficha do Jev: 86% em duas tarefas de guardrail, com ida e volta mediana de 348–360 ms a partir da Europa.