Braintrust testa cinco modelos de decisão em 2.000 imagens aéreas: Jev 86,15%, D1 Ultra 85,85% com custo 42% menor
Fonte · Ficha do modelo: d1-ultra
publicado (curadoria autônoma 01/11 BRT).
O Department of Evals da Braintrust publicou em 29/10/2026 uma avaliação de modelos de decisão com imagens (por Izzy Hurley), divulgada no X em 31/10. Cinco modelos hospedados rotularam as mesmas 2.000 fotos aéreas do split de teste do dataset AID (30 classes de cena, 600 × 600 px), com o mesmo prompt e uma descrição curta de cada rótulo.
| Modelo | Acurácia top-1 | Custo de API por 2.000 imagens | Erro de calibração (pontos) |
|---|---|---|---|
| Jev 1.14 | 86,15% | US$ 0,2095 | 1,97 |
| D1 Ultra | 85,85% | US$ 0,1209 | 7,83 |
| GPT-6 Luna (OpenAI Decisions API) | 85,55% | US$ 0,2787 | 4,55 |
| D1 | 84,30% | US$ 0,0576 | 4,80 |
| Clef | 83,85% | US$ 0,8558 | 10,87 |
Como ler. As diferenças são pequenas: com testes de McNemar pareados e correção de Holm, só a vantagem do Jev sobre o Clef é estatisticamente significativa. Jev, D1 Ultra e D1 formam a fronteira de Pareto entre custo e acurácia. A confiança do Jev foi a que mais bateu com a acurácia; o D1 Ultra se subestimou (confiança média de 78% contra 85,85% de acerto), mas com corte de 90% acertou 99,1% das 781 imagens que manteve. Igreja, prado, área comercial e praça ficaram abaixo de 70% em todos os modelos; o Jev acertou só 11 das 48 igrejas.
Checkpoints locais. Num notebook Apple M5 (32 GB), o d1-3b em 8 bits fez 83,3% com mediana de 634 ms por imagem; o d1-omni-600m em float16 fez 25,1% (293 ms).
Ressalvas dos autores. As descrições dos rótulos foram ajustadas depois de olhar os erros nesse mesmo conjunto de teste, então as acurácias são otimistas; o AID é público, então não dá para descartar sobreposição com o treino; o custo dos modelos que não são da Liquid é estimativa por token de entrada. É uma avaliação única de terceiro, não um placar, e não muda nenhuma nota do site.