Clef, segundo dia: Ollama já roda, llama.cpp ainda pendente e chegam os primeiros testes independentes

Source

Um dia depois do lançamento, a Cloudflare não publicou nada novo sobre o Clef: nenhum post no blog ou changelog, mesmos preços e mesmos pesos no Hugging Face. A novidade veio de todo o resto.

Ollama. O PR #18741, de Jeffrey Morgan, entrou em 1º de outubro (19:52 BRT), e ollama.com/library/clef (18 GB) e clef-flash (11 GB) servem o head de decisão nativo em /v1/systemone. Duas pontas soltas: a página pede o Ollama 0.35.1, mas o PR entrou depois da tag 0.35.1; e as tags do Ollama indicam contexto de 256K, contra 64K no readme do modelo e 65.536 tokens no Workers AI.

llama.cpp. A ggml-org publicou Clef-GGUF e Clef-Flash-GGUF em 2 de outubro, avisando que dependem do PR #29831. Esse PR (só texto, uma sequência por batch) segue aberto e sem revisão. O PR base do servidor /v1/systemone entrou na mesma manhã (detalhes). O Hugging Face já lista 33 quantizações dos dois tamanhos. Rodar um GGUF genérico num Ollama mais antigo dá saída JSON restrita, não o head de decisão.

Testes independentes. O admission-decision-eval, da Nicia, rodou 85 casos de internação clínica contra as APIs hospedadas entre 1º de outubro, 18:30, e 2 de outubro, 00:10 BRT:

• O Clef pegou 98–100% dos casos que pediam internação e internou 97% dos casos de rotina. O Clef-flash internou só 62–66% dos casos de rotina.
• Com uma requisição por vez, a mediana do Jev foi de 98–167 ms, a do Clef-flash de 429–533 ms e a do Clef de 638–717 ms (p95 de 0,9–1,1 s). As caudas chegaram a 9–26 s, duas chamadas nunca voltaram e cerca de uma requisição em cinco tomou HTTP 429 no começo.
• O Clef deu a mesma resposta em chamadas repetidas; as probabilidades do Jev variaram até 0,12. Duas decisões do Clef mudaram quando as seções do prontuário foram reordenadas.

Um teste separado de 42 casos no DEV, de Reid Marlow, deu 71,4% ao Jev e 66,7% ao Clef-flash, com concordância em 35 casos. Os dois testes são pequenos, de um domínio só e feitos por terceiros: trate como sinais iniciais. A latência hospedada que eles medem vai contra o “13× mais rápido” da Cloudflare, que comparava tempo de GPU com a ida e volta da API do Jev.

Atenção. O post de lançamento da Cloudflare teve 610 pontos e 213 comentários no Hacker News, e os repositórios da comunidade (routers, kits de avaliação e de fine-tuning, uma demo com webcam) passaram de uma dúzia em um dia.

O que muda no site. As notas do Clef vão de 6,7 / 7,7 / 26 para 7,2 / 7,5 / 37: mais integrações, mais adoção e uma subnota de latência menor depois das medições independentes nas APIs.