raxIT Labs ranqueia 19 sistemas como guardrails: modelos de decisão ficam no topo, com parte do teste mantida privada

Fonte · Ficha do modelo: Jev

publicado (OK do Fabricio 18/10 BRT).

A raxIT Labs publicou o Decision Models as Guardrails v1.0.0 em 15 de outubro de 2026. Ele passa 19 sistemas por 9.975 checagens em oito casos de uso, com limite fixo de 0,5. Todos os números abaixo são da própria raxIT, trabalho de terceiros, e não evidência do ModelSystem.One; não reproduzimos nenhum, e eles ficam separados do JevBench e do Decision Index.

Notas como reportadas (maior é melhor): Perplexity Decisions 90,4, OpenAI Decisions 90,0, Clef 89,5, Jev 1.14.0 88,7 (faixa 2), Jev 1.13.0 88,5, Strands Decider 12B 86,4, Strands Decider 26B-A4B 86,1, Amazon Bedrock Guardrails 79,0, Laya 61,1. Doze dos 18 modelos de decisão superam o Bedrock Guardrails. Por caso de uso, a melhor nota em jailbreak e injeção de chat é 74,4 (Clef) e a melhor em injeção indireta de RAG e agentes é 90,7 (Strands Decider 12B), então nenhum sistema é forte em tudo.

Custo, como reportado (por 1.000 checagens, preços de tabela de 7 de outubro): Jev US$ 0,039, Perplexity US$ 0,056, OpenAI US$ 0,110, Bedrock Guardrails US$ 0,113, Clef US$ 0,202.

Ressalvas, a maioria da própria raxIT.

• Parte do teste não é pública. A suíte inclui uma fatia reservada de 2.269 linhas que a raxIT não libera, e algumas fontes trazem só os IDs das linhas. Não dá para rodar o benchmark inteiro de novo.
• Possível vantagem de casa para o Jev. A raxIT diz que o formato das perguntas pode favorecer o Jev; uma checagem feita depois de fixar os resultados não achou problema, mas não foi feita de antemão.
• Escopo estreito. Só texto, um limite fixo e nenhuma avaliação de retenção de dados ou conformidade.
• Independência. A raxIT diz não ter financiamento nem vínculo com fornecedores; não verificamos isso.

Leia ao lado de dois outros testes. O benchmark da Red Hat (2 de outubro) não achou vitória clara dos modelos de decisão sobre guardrails clássicos em duas tarefas em inglês, e os textos da Datadog e da HiddenLayer mostram que um juiz de modelo de decisão pode ser desviado por texto injetado. Os três não concordam num vencedor. O que têm em comum é o conselho de testar um modelo de decisão contra os seus próprios ataques antes de usá-lo como guardrail. Nenhuma nota das nossas páginas muda.