Laya-MLX
⚠️ Por que não é um modelo
Porta MLX nativa da Laya da ConvAI: checkpoints FP16 convertidos e um motor de inferência para Apple Silicon. Nenhum treino de decisão próprio.
Especificações técnicas
- LLMs base
- Tipos de decisão
- choice, score, noul
- Features
- local, apple-silicon, mlx, pypi, http-serve, mcp, router, calibration, langchain, langgraph, llamaindex, crewai, agno
- Licença
- Apache-2.0
Links
publicado (OK do Fabricio 20/10 BRT).
O Laya-MLX (Apache-2.0, pip install laya-mlx) roda a Laya nativamente em Apple Silicon com MLX: sem PyTorch, sem runtime do Transformers, zero tokens de saída. Checkpoints FP16 já convertidos estão no Hugging Face (aac6fef/laya-mlx, laya-multilingual-mlx, laya-typed-decisions-mlx). A versão 0.5.0 (push em 20/10) migra para a Laya v0.4.12 e traz router, predição em lote e de entrada longa, hooks, calibração, avaliação, serviço HTTP e MCP e extras para frameworks (LangChain, LangGraph, LlamaIndex, CrewAI, Agno).
Números do autor (UnverifiedClaim), M3 Max: mediana de 13,4 ms ponta a ponta para uma decisão curta em inglês e 7,4 ms com o checkpoint multilíngue; os três checkpoints bateram com a resposta da Laya original em 63 de 63 perguntas de validação, em FP32 e FP16. O repositório não publica comparação de acurácia com o Jev. Um post no X em 19/10 (Kim Maresana) perguntou justamente isso; não achamos resposta.
Por que está aqui e não no catálogo. Converte e serve os pesos da ConvAI; a qualidade é a da Laya. Mesma classe do Ollaya, que também roda a Laya em MLX.