Ollaya: baixe e rode modelos de decisão localmente como no Ollama
Um projeto novo chamado Ollaya apareceu esta semana com uma proposta simples: Ollama, mas para modelos de decisão. Um comando (ollaya run laya) baixa um modelo e serve em localhost:11435 com os shapes /v1/systemone da TypeSafe. O SDK Python da TypeSafe funciona sem mudanças contra o servidor local.
O que ele serve. Oito famílias de modelos prontas: Laya (Convai), Decider (Mapika), NLI (Moritz Laurer), GLiClass (Knowledgator), Qwen3Guard, Decision (vLLM Semantic Router), Kev (Jared Palmer) e Von (Victor Hugo Panisa). Tamanhos vão de 322M a 7.9B. Laya e NLI rodam na GPU da Apple via MLX; o resto precisa de GPU NVIDIA (CUDA 13) ou cai para CPU.
Plataformas. Apps desktop para macOS (Apple Silicon, 14+), Windows 10/11 e Linux x86-64 com suporte a serviço systemd, mais imagem Docker no GHCR. Linux ARM64 é só CLI, sem aceleração GPU.
Claims de latência (UnverifiedClaim). Em uma RTX 4090 via HTTP API, o Ollaya reporta medianas de 8–10 ms para Laya, 15–20 ms para NLI/GLiClass e 155–190 ms para Decider. Para contexto, citam benchmarks de terceiros mostrando a API hospedada do Jev em 236–276 ms — mas a comparação mistura GPU local com round-trip de rede, então trate como ordem de grandeza.
O que não é. Ollaya não treina nenhum peso. É infraestrutura de distribuição e inferência, não um modelo de decisão novo. O disclaimer de independência é explícito: “not affiliated with Ollama or TypeSafe.”
O repo no GitHub (Apache-2.0, Rust) tinha 446 stars e 16 forks três dias depois da criação.
Entry do runtime: /pt-br/runtimes/ollaya. Modelos relacionados: Laya, Decider, Kev.