DeepEval adiciona o JevEval: Jev como juiz de avaliações de LLM, sem modelo generativo no meio
O DeepEval, da Confident AI, agora traz o JevEval, uma métrica customizada julgada pelo Jev. Você escreve perguntas Noul, Score e Choice sobre um caso de teste ou um trace de agente; o Jev responde todas numa requisição com probabilidades; o DeepEval tira uma média ponderada. O strict_mode devolve 1 só se todas as checagens passarem. O texto de reason é montado em código a partir das respostas do Jev, então é determinístico. As métricas prontas também ganharam modos de avaliação: llm, hybrid (o Jev decide) e system_one (só o Jev). Precisa de chave da TypeSafe.
Divulgado por @Sumanth_077 em 13/10. É integração para o Jev, não modelo novo. Ver Jev.