Dois testes independentes põem o d1-ultra da Liquid em primeiro: leitura e gramática em turco, e achar o Wally
Fonte · Ficha do modelo: d1-ultra
publicado (OK do Fabricio 19/10 BRT).
Dois testes de terceiros publicados em 18/10 colocaram o d1-ultra da Liquid AI à frente dos outros modelos de decisão testados. Nenhum dos dois é placar público que usamos para dar nota, e os dois relatam as próprias execuções. Repassamos os números como publicados.
Zeki Works: 2.198 questões de leitura e gramática em turco
A Zeki Works (resultados atualizados em 17/10, gabarito versão 2) respondeu 2.198 questões de múltipla escolha em turco nativo, não traduzidas, com 24 modelos de decisão e alguns modelos de chat para comparar. Todas as respostas estão públicas na página.
- Acurácia: d1-ultra 77,1%, primeiro com folga entre os modelos de decisão; GLiDE e os Deciders v1.1 e v1.2 da Perplexity perto de 67%; Jev 1.14 59,2%.
- Gap de calibração: o menor foi do GPT-6 Luna pela Decisions API da OpenAI, com o Jev 1.14 logo atrás.
- Economia estimada: o d1-ultra teve a maior economia estimada quando colocado na frente de cada uma das 10 configurações de LLM que a Zeki Works testou.
- Leitura x gramática: os modelos de decisão acertaram até 92,1% das questões de leitura, mas no máximo 70,7% das de gramática. As melhores configurações de chat, como o GPT-6 Astra com raciocínio baixo, ficaram por volta de 97–98%.
O teste anterior da Zeki Works (11/10) olhou a estabilidade das respostas em 27 modelos.
WaldoBench: 66 cenas de “Onde está o Wally?”
O WaldoBench (Andy Gao, atualizado em 18/10) deu a modelos de decisão com entrada de imagem 66 cenas do conjunto IVSN Waldo, divididas em blocos, mais uma foto do Wally. A busca conta como acerto quando o bloco escolhido encosta no Wally.
| Modelo | Achou | p50 por cena | Custo por cena |
|---|---|---|---|
| d1-ultra | 53 / 66 (80,3%) | 3,36 s | US$ 0,0052 |
| Liquid d1 | 49 / 66 (74,2%) | 4,52 s | US$ 0,0025 |
| Jev 1.14 (sim/não, em lote) | 48 / 66 (72,7%) | 1,54 s | US$ 0,0051 |
| Decider Flash v1.2 | 47 / 66 (71,2%) | 2,61 s | US$ 0,0010 |
| Span-02, Mercury Decide, Decider v1.2 | 47 / 66 (71,2%) | 3,3–4,8 s | US$ 0,0016–0,0021 |
| Clef / Clef Flash / Clef Omni | 46 / 45 / 44 | 6,0–13,6 s | US$ 0,0043–0,0274 |
| GPT-6 Luna Decisions | 35 / 66 (53,0%) | 3,13 s | US$ 0,0121 |
Com 66 cenas, o intervalo de 95% da taxa do d1-ultra vai de uns 71% a 89%, então quase todo o meio da tabela se sobrepõe.
Por que importa. São testes pequenos e estreitos, mas independentes, e batem com a afirmação da Liquid de que o d1-ultra é mais forte que o Jev 1.14 nas perguntas difíceis. Também repetem o padrão dos placares públicos: o Jev raramente é o mais preciso e muitas vezes é o mais rápido. Sem mudança de nota; a acurácia do d1-ultra segue amarrada ao JevBench e à Artificial Analysis.