llama.cpp ganha endpoint /v1/systemone nativo para modelos de decisão abertos
O llama.cpp fez merge do PR #29818 em 2 de outubro de 2026 (06:56 BRT), que adiciona um endpoint /v1/systemone nativo ao llama-server. Ele cobre cinco modelos de decisão abertos: Laya, Julia-1, Lev, OpenJev 27B e Kev. A ggml-org publica GGUFs oficiais dos cinco.
Correção (03/10). A primeira versão desta nota ligava “OpenJev” ao openjev, a stack NLI MIT do AlexWortega. O modelo suportado pelo llama.cpp é outro: openjev/openjev, um fine-tune 27B do Qwen3.8-27B sob CC BY-NC 4.0 (não comercial). Ele agora tem página própria.
O anúncio de Georgi Gerganov (11:33 BRT) passou de 1.100 likes e 39 mil visualizações em poucas horas. No mesmo dia, Xuan-Son Nguyen e Victor Mustar publicaram o post da ggml-org “New in llama.cpp: Decision Models” (post do @ngxson, 11:25 BRT). Ele mostra llama serve -hf ggml-org/<modelo>-GGUF, o modo router para vários modelos atrás de um servidor e dicas como testar quantizações diferentes. Os números de latência são UnverifiedClaim: mediana por pergunta numa RTX PRO 6000, medida pelos autores.
| Modelo | Base | Latência mediana (blog, UnverifiedClaim) | GGUF |
|---|---|---|---|
| Julia-1 | encoder mmBERT-small de 144M | 3 ms | ggml-org/Julia-1-GGUF |
| Laya | encoder ModernBERT-large de 421M | 5 ms | ggml-org/Laya-GGUF |
| Kev-4B | Qwen3.5-4B-Base | 12 ms | ggml-org/Kev-4B-GGUF |
| Lev | Qwen3.5-4B | 36 ms | ggml-org/lev-GGUF |
| OpenJev 27B | Qwen3.8-27B, texto + imagens, CC BY-NC 4.0 | 43 ms | ggml-org/OpenJev-GGUF |
Clef. O suporte ao Clef veio num PR separado, o #29831, com merge em 2 de outubro às 21:50 BRT (só texto, uma sequência por batch). O blog o listava como “o próximo”. O PR #29832, uma implementação agnóstica de modelo, continua aberto.
O que muda no site. Servir pelo /v1/systemone do llama.cpp conta como integração (veja o método do quadrante). A maturidade sobe em três modelos: Julia-1 4,3 → 4,8, Lev 5,2 → 5,6, Kev 6,1 → 6,4. Clef fica em 7,2, porque o llama.cpp sozinho não muda a nota de integração dele. A maturidade do Laya foi recalculada com a fórmula ponderada e passa a 6,2 (era 7,0, de antes dessa fórmula). O OpenJev 27B entra no catálogo com 5,8 / 7,0 / 12.