StartLux-Prism serve os GGUF do StartLux-Decision em NVIDIA a 19 ms por pergunta, diz o autor

Fonte · Ficha do modelo: StartLux-Decision

publicado (OK do Fabricio 24/10 BRT).

O StartLux-Prism da StartLux Labs (repo desde 13/10, coberto pelo Pandaily em 24/10) serve o StartLux-Decision v1 e v1.1 AutoThink (4B, 9B, 27B) direto dos GGUF publicados em GPUs NVIDIA, atrás de /v1/systemone. Q8_0 roda como int8 e Q4_K_M como W4A8; em 4 bits o 27B cabe numa RTX 5090 de 32 GB.

Números do autor (UnverifiedClaim): o 27B v1.1 numa H200 responde uma pergunta de ~256 tokens em 19,0 ms contra 53,1 ms do motor oficial em FP8 (vLLM 0.31), uma requisição de três perguntas 5,3× mais rápido, e o int8 mantém 92,94 contra 92,97 do BF16 nas suítes do v1, com respostas idênticas bit a bit entre batches. Catalogado como runtime; os pesos do modelo seguem CC BY-NC-4.0.