pplx-decider v1.1 lidera a prévia clínica da EdgeEvals, com um erro grave

Fonte · Ficha do modelo: pplx-decider v1.1 27B

A prévia System One da EdgeEvals de 11 de outubro credita 643 de 669 decisões ao pplx-decider v1.1. É a maior contagem, e o modelo divide o rank 1 com o GPT-6 Luna, que tem 637. O Mercury Decide tem 630 decisões creditadas e o Jev 1.13 tem 628; os dois ficam no rank 2. O placar registra um erro grave para o pplx-decider e para o Jev, nenhum para o GPT-6 Luna e dois para o Mercury.

O JSON publicado registra mediana de 362 ms e custo de API de US$ 0,02543 por mil decisões, cerca de US$ 0,017 para as 669. Isso confere com a afirmação do post de que a rodada inteira custou menos de dois centavos.

A prévia usa casos escritos pelo operador do placar. A metodologia informa que clínicos ainda não os revisaram; portanto, o resultado não é validação clínica. O post diz que oito modelos entraram desde quinta-feira, mas o JSON atual tem 35 linhas, contra 38 no snapshot do Microsoft de 10 de outubro que registramos antes. A mudança no conjunto não foi explicada, então não dá para confirmar um aumento líquido de oito modelos.

O resultado entra como nota datada na ficha do pplx-decider v1.1. A nota do catálogo fica igual.

Fontes: placar · dados · metodologia · @MaziyarPanahi.