JevAgentHarness: um modelo de decisão pode assumir passos rotineiros do agente, mas só atrás de um limiar de confiança ajustado

Fonte · Ficha do modelo: Jev

publicado (OK do Fabricio 19/10 BRT).

O paper “JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs” (Kunlun Zhu, Heng Ji e mais seis coautores da UIUC, de Princeton e do Google) saiu no arXiv em 15/10. A pergunta é prática: a maioria das chamadas que um harness de agente faz ao LLM termina numa escolha entre opções, como qual ferramenta chamar em seguida. Um modelo de decisão consegue assumir essas chamadas sem piorar o agente?

O benchmark. O AgentDecisionBench testa modelos de decisão desde perguntas isoladas até o controle de um agente rodando, em benchmarks públicos e no DecisionGym, o ambiente de atendimento ao cliente dos autores.

O que os autores relatam (execuções deles, UnverifiedClaim):

• O modelo de decisão com melhor acurácia em perguntas isoladas resolveu só 69,5% das tarefas ao vivo.
• Passar toda escolha de ferramenta ao modelo de decisão, sem limiar de confiança, derrubou o sucesso em 19,0 pontos.
• O JevAgentHarness ajusta um limiar para cada tipo de escolha nos logs do próprio agente. Acima dele, o modelo de decisão responde; abaixo, o LLM decide.
• Eles treinaram o AgentDecision-4B nos estados bagunçados a que o agente chega depois dos próprios erros, com as respostas do Jev como rótulos. Em tipos de tarefa diferentes do treino, os agentes resolveram 91,5% das tarefas com ele e 82,0% com o Jev.
• Em tarefas parecidas com o treino, agentes com esses modelos de 4B ficaram de 81,1% a 89,0% mais baratos e até 2,5× mais rápidos, a menos de 3 pontos do sucesso do LLM completo.
• O proxy do repositório usa o Jev 1.13 para marcar cada passo de um agente de código como rotineiro ou difícil e manda os rotineiros para um modelo mais barato. Em 74 tarefas reservadas do Terminal-Bench 2.0, três harnesses sem modificação ficaram a menos de 3 pontos do sucesso com o modelo forte, gastando de 28% a 64% menos e terminando de 4% a 43% mais rápido.

O que foi liberado. O código está no GitHub (MIT), o benchmark no Hugging Face (CC BY 4.0) e há uma página do projeto. Os checkpoints AgentDecision (4B e 4B-v1 como adaptadores LoRA sobre o Qwen3-4B, mais um 0.8B sobre o StartLux-Decision-0.8B) são CC BY-NC 4.0 e não estão em nenhum placar público, então ficam fora do catálogo por enquanto.

Por que importa. É a evidência mais clara até agora de algo que os fornecedores costumam pular: acurácia em perguntas soltas não se transfere para um agente que acumula os próprios erros, e é a confiança que torna a delegação segura. Fica ao lado do paper de 13/10 sobre o Jev em fluxos de agentes, que achou o Jev mais barato e rápido para agentes, mas não melhor.