StartLux-Prism
⚠️ Por que não é um modelo
Motor de inferência para os GGUF já publicados do StartLux-Decision em GPUs NVIDIA. Prompts, leituras e regras são do modelo; só o forward pass é novo.
Especificações técnicas
- LLMs base
- StartLux-Decision v1 (4B, 9B, 27B), StartLux-Decision v1.1 AutoThink (4B, 9B, 27B)
- Tipos de decisão
- choice, noul, score
- Features
- http-systemone, int8, w4a8, gguf, nvidia, tensor-parallel, data-parallel, prefix-cache, multimodal, bit-exact
- Licença
- not declared (no LICENSE detected by GitHub)
Links
publicado (OK do Fabricio 24/10 BRT).
StartLux-Prism (StartLuxLabs/StartLux-Prism, repo desde 13/10; coberto pelo Pandaily em 24/10) serve o StartLux-Decision v1 e v1.1 AutoThink (4B, 9B, 27B) direto dos GGUF publicados, atrás da API /v1/systemone, em GPUs NVIDIA de Ampere a Blackwell. Arquivos Q8_0 rodam como int8 (W8A8) e Q4_K_M como W4A8, sem conversão; em 4 bits o 27B cabe numa RTX 5090 de 32 GB. Linux, Python 3.12, CUDA 12 ou 13; kernels compilados na primeira execução.
Por que não é um modelo
Sem pesos novos. Prompts, leituras, pensamentos e regras de decisão vêm do StartLux-Decision; só o forward pass é reimplementado. Os pesos servidos mantêm a licença CC BY-NC-4.0.
Números do autor (UnverifiedClaim)
- 27B v1.1 numa H200: 19,0 ms por pergunta de ~256 tokens contra 53,1 ms do motor oficial em FP8 (vLLM 0.31); requisição de três perguntas 17,4 contra 92,9 ms (5,3×).
- 24 perguntas sobre um vídeo (8 quadros): 0,21 s contra 0,72 s.
- Oito H200: 238 requisições/s contra 138 do motor oficial em BF16.
- Acurácia nas sete suítes do v1: int8 92,94, W4A8 93,07, oficial BF16 92,97. O int8 soma exato em int32, então as respostas são idênticas bit a bit em qualquer batch.