ENPT

Atualização do JevBench de 17/10: kettei-fat lidera os placares de API e de imagem; basal-omni entra no ImageJevBench

Última atualização:

Fonte · Ficha do modelo: kettei

publicado (OK do Fabricio 17/10 BRT).

O mantenedor do JevBench (@airesearch12, 17/10) informa que 34 modelos entraram ou foram ranqueados desde quinta, citando o kettei-fat como #1 nos placares de API e no ImageJevBench, além de Jev 1.14, Sage 1.4, Celeris-1 e StartLux v1.1. Ele diz também que a Bespoke cortou o Nimble-v4-max para US$ 0,04 por milhão de tokens de entrada e que ele agora entra em quatro placares com teto, e que o ImageJevBench tem quatro novos modelos com imagem. A contagem de 34 e os “quatro placares com teto” são alegações dele; não recontamos.

O que os placares mostram em 17/10 (lido das páginas; cada placar é uma fonte separada):

  • Placar de API: kettei-fat com 77,8 de composite (#1, capability 86,3, p50 0,20 s), d1-ultra 76,1, Sage 1.3.0 74,0, kettei-chub 73,5, d1 73,0; Jev 1.14.0 70,2 (#9) e Jev 1.13.0 71,5 (#7); Celeris-1 62,0 (#17); Nimble-v4-max 66,2 (#14).
  • ImageJevBench v0.3.0: kettei-fat 75,39 de composite (#1), Wity-1 71,21, Imajev-4B 63,71, kettei-chub 63,35, Sage 1.4 com imagens 47,91 (#5, capability 75,79); o basal-omni-1.0-ultra (Apache-2.0) é #8 com data de artefato de 17/10 e o Celeris-1 é #9.
  • Placar de pesos abertos: StartLux-Decision v1.1 27B (Intelligence 73,2, capability 82,6) e basal-omni-1.0-ultra (74,1) estão entre as novas entradas; ambos têm página.

Relacionados: kettei, Sage, Celeris-1, basal, StartLux-Decision.