cribl-decision-1.0
Notas do quadrante
Ver o quadrante completoPontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.
- Maturidade5/10
Adaptadores LoRA Apache-2.0 sobre Qwen3.5 em quatro tamanhos (0.8B, 4B, 9B e um checkpoint interino de 27B). Cards com código de carga, o formato exato do prompt e um exemplo local de /v1/systemone. Ainda sem API hospedada; suporte no gateway StreamAI prometido. Sem SLA.
- Capability6/10
Choice, noul e score lidos do lm_head sobre até 255 letras de opção, várias perguntas por passada. Só números do próprio held-out de 26 tarefas da Cribl; fora do JevBench, do Decision Index e da Artificial Analysis. Sem ECE, sem latência.
- Adoção1/100
Uns 290 downloads e 5 likes somando os quatro repositórios; o post de lançamento no blog e um post da Cribl no X, quase sem engajamento. Nenhuma integração ou uso em produção encontrado.
Vendor claims
- 4B num held-out de 26 tarefas (29.743 registros): 77,3% de acurácia geral, 78,6% de acurácia média por tarefa, 78,7% de macro-F1; vence o Jev com folga em 6 a 10 das 26 tarefas[Claim do fornecedor — não verificado independentemente]
- Mesmo held-out: 9B 78,41% geral; checkpoint interino do 27B (passo 16.000 de 48.186) 80,73% geral, 82,45% por tarefa[Claim do fornecedor — não verificado independentemente]
- Treinado em mais de 1,5 milhão de registros de classificação, intenção, preferência, segurança, conhecimento, raciocínio, agente/ferramenta e regras[Claim do fornecedor — não verificado independentemente]
publicado (OK do Fabricio 19/10 BRT). As notas foram calculadas do zero.
Leia antes
- O lançamento passou batido. A Cribl publicou o 4B em 9/10. Ele só apareceu nas nossas buscas no Hugging Face quando os repositórios de 9B e 27B surgiram em 18/10.
- O 27B não está pronto. O card chama de checkpoint interino, com cerca de um terço do treino, e diz que a avaliação vem depois.
- Todos os números de acurácia são da Cribl. Nenhum tamanho está no JevBench, no Decision Index ou no índice da Artificial Analysis (conferido em 19/10).
O que é
O cribl-decision é uma família de adaptadores LoRA da Cribl, empresa de telemetria e observabilidade. Você manda uma entrada (um evento de log, um ticket, um pedido), uma pergunta e as opções. Uma passada lê o estado oculto no ponto da resposta, projeta pelo próprio lm_head do modelo base restrito às letras das opções e devolve um softmax sobre elas. Nenhum texto é gerado.
O blog da Cribl apresenta primeiro um modelo geral: cada evento de telemetria é uma decisão de roteamento, enriquecimento ou triagem tomada milhões de vezes por dia. Os próximos passos anunciados são um modelo menor, um benchmark de decisão para telemetria e uma versão ajustada ao domínio, e o blog diz que o modelo chega ao gateway StreamAI da Cribl “nos próximos meses”.
| Tamanho | Base | Lançado | Acurácia held-out (Cribl) |
|---|---|---|---|
| cribl-decision-1.0 (4B) | Qwen3.5-4B-Base | 9/10 | 77,34% |
| 0.8B | Qwen3.5-0.8B | 9/10 | 68,52% |
| 9B | Qwen3.5-9B | 18/10 | 78,41% |
| 27B (interino) | Qwen3.5-27B | 18/10 | 80,73% |
Ficha técnica
| Atributo | Valor |
|---|---|
| Empresa | Cribl, Inc. (org cribl-ai no Hugging Face) |
| Artefato | Adaptadores LoRA (4B: 57,6 MB; 27B: rank 32, uns 95M de parâmetros treináveis); pesos base congelados |
| Tipos de pergunta | choice (escolha + distribuição), noul (probabilidade de uma afirmação sim/não), score (distribuição ordinal + valor esperado) |
| Opções | Até 255 por pergunta (A–Z, depois rótulos de duas letras num só token); várias perguntas por passada, cada uma lida no seu ponto |
| Prompt | Formato fixo (Context: / Question: / Options: / Answer: (); o card avisa que outros formatos perdem acurácia |
| Serviço | Transformers + PEFT com Qwen3_5ForConditionalGeneration (o card avisa que AutoModelForCausalLM ignora o adaptador em silêncio no Transformers ≥ 5.19). O card do 4B mostra uma chamada local POST /v1/systemone; não achamos listagem no vLLM, no Ollama ou em gateways |
| Contexto | 8.192 tokens no treino |
| Licença | Apache-2.0 (modelos base nos termos da Qwen) |
Conferido em 19/10/2026: 4B com 246 downloads e 5 likes; 0.8B com 28; 9B com 11; 27B com 6.
Conta das notas (19/10/2026, do zero, fórmulas do docs/06)
- Maturidade = disponibilidade 7 × 0,30 + docs 7 × 0,25 + integrações 2 × 0,25 + suporte 3 × 0,20 = 2,10 + 1,75 + 0,50 + 0,60 = 4,95 → 5,0.
- Capability = tipos 10 × 0,30 + calibração 4 × 0,25 + latência 4 × 0,25 + acurácia 5 × 0,20 = 3,00 + 1,00 + 1,00 + 1,00 = 6,00 → 6,0.
- Adoção = engajamento 2 × 0,35 + ecossistema 1 × 0,35 + produção 0 × 0,30 = 0,70 + 0,35 + 0 = 1,05 → 1.
Disponibilidade 7: pesos abertos com licença clara, sem API hospedada (precedente do Jeva-4B). Docs 7: cards detalhados com código de carga e de leitura, formato do prompt e um script pronto, mais o blog. Integrações 2: um exemplo local de /v1/systemone no card; o StreamAI só foi prometido. Suporte 3: empresa por trás, sem SLA para o modelo. Tipos 10. Calibração 4: marcado como “calibrated”, sem ECE publicado, e o card manda reconferir a calibração nos seus dados. Latência 4: nenhum número publicado. Acurácia 5: held-out montado pela Cribl com dados públicos, sem placar público. Engajamento 2, ecossistema 1, produção 0.
Quando usar / quando não usar
Usar: roteamento, enriquecimento e triagem de eventos de log ou de segurança com hospedagem própria, quando você controla o formato do prompt e pode testar nos seus dados; times que já usam Qwen3.5 e PEFT.
Não usar: qualquer caso que precise hoje de endpoint hospedado ou de cliente da TypeSafe, o 27B antes do checkpoint final, e qualquer escolha baseada só nos números da Cribl. O card cita entre os limites o excesso de confiança e a sensibilidade à ordem e à redação das opções.