JevBench põe o Microsoft-Decision-1 em sexto entre as APIs de decisão
Fonte · Ficha do modelo: Microsoft-Decision-1
O Benchmark Heaven adicionou o Microsoft-Decision-1 ao placar de APIs hospedadas em 10 de outubro. A rodada cobre as 1.500 decisões da suíte JevBench v1.6.1. No placar atual de APIs, o Microsoft fica em #6 entre 27, com composite 69,1 e capability 70,8. O Jev ocupa o #4 com 71,5; o Sage lidera com 74,0.
Os eixos ajudam a explicar a posição: o Microsoft marca 57,2 em intelligence, 84,4 em calibration, 82 em speed e 61 em cost. A latência mediana no endpoint é 459 ms no subconjunto de 124 requests usado para velocidade; o custo medido é US$ 0,019 por mil decisões. A rodada registra 21 falhas por limite de contexto e mantém essas falhas no denominador pontuado. O Benchmark Heaven descreve o placar como independente da TypeSafe AI.
Onde supera o Jev
O radar por categoria favorece o Microsoft em vários usos citados no post: recrutamento (29,7 contra 0,0 do Jev), avaliação de risco (51,2 contra 32,8), jogos (25,1 contra 5,1), publicidade (37,0 contra 16,4), descoberta científica (36,9 contra 21,2) e moderação/confiança e segurança (67,2 contra 51,6). O placar alerta que pools e tipos de decisão podem variar entre categorias; leia os valores como comparação indicativa, não como confronto controlado.
No radar multilíngue, são 88,32 em 79 respostas concluídas. É um sinal forte, mas a amostra é pequena. O post diz que o Microsoft é a API mais forte do top 10 em tarefas multilíngues; o placar de APIs confirma o valor medido, enquanto a posição no ranking misto vem do post.
Este resultado substitui a nota anterior do catálogo, que dizia que o Microsoft ainda não tinha posição em benchmark independente. Capability sobe de 5,8 para 7,9 com evidência de terceiro. Os claims da própria Microsoft sobre os 36 benchmarks e velocidade continuam atribuídos ao fornecedor.
Fontes
Prévia clínica System One (10/10/2026)
Um segundo resultado público vem do placar de prévia System One da EdgeEvals: Microsoft-Decision-1 está empatado em #5 de 38, com 611/669 decisões creditadas, incluindo 152/153 casos de notas clínicas. O placar registra dois erros graves de triagem, mediana de 417 ms e US$ 0,03129 por mil decisões (~US$ 0,021 nesta rodada). No teste com texto irrelevante, manteve 130/130 casos que já estavam corretos, sem novos erros graves.
A metodologia diz que os casos são sintéticos e ainda não foram revisados por médicos ou codificadores certificados; portanto, isso não é validação clínica. Os números e o custo do post batem com o placar; o post omite os dois erros graves. As notas do catálogo não mudam. Dados · metodologia · post.