LangChain testa Jev-as-a-Judge pra evals de agentes no LangSmith
Em 20 de setembro de 2026, a LangChain publicou Can Jev Be a Better Agent Evaluator? (Daniel Shea & Seán Roche) — peça separada do Building a Harness with Jev / middleware langchain-typesafe já coberto em langchain-harness-jev.
A pergunta: um modelo System One consegue sentar ao lado de evals baseadas em código e LLM-as-judge como terceira via? Os autores pontuam traces fixos de um weather agent (Deep Agents) no LangSmith com dois sinais (quality contínuo; does_pass binário) e comparam Jev (langchain-typesafe==0.0.1a2) a GPT-5.6 Luna, GPT-5.6 Terra e Claude Sonnet 4.6 em 100 repetições por caso, com oráculo humano pra agreement.
UnverifiedClaim / higiene (experimento LangChain, não ModelSystem.One): Jev bateu o oráculo em todas as 500 decisões binárias; variância média per-case de quality 0.0000149 (autores: Luna ~433×, Terra ~913×, Claude ~92× maior); latência média ~0.44s e ~$0.00035/call naquele run. O próprio post chama o teste de estreito e cedo — baixa variância ≠ acerto automático em escala.
A superfície de integração é o mesmo TypeSafeClassifier / perguntas Choice·Score·Noul do post de harness. Notas de repro e repo GitHub estão linkados no post da LangChain.
Fonte primária: langchain.com/blog/jev-agent-evals-langsmith.