mlx-serve
Local AI on Apple Silicon: LLMs, image/video gen, agents
评分 72 ▲ 4 ◆ 1 免费
概述
mlx-serve 是一个专为 Apple Silicon 优化的本地 AI 推理服务器，用 Zig 编写，无需 Python 环境，支持 LLM、图像/视频生成、语音克隆和 Agent，性能超越同类工具。
创新点
用 Zig 而非 Python 构建推理服务器，实现单二进制部署；在同一端口同时兼容 Ollama、OpenAI 和 Anthropic API；将 LLM、图像生成、视频生成、语音克隆和 Agent 整合进一个工具；Agent 运行在隔离 Linux VM 中提升安全性
目标用户
使用 Apple Silicon Mac 的开发者、AI 工程师、本地 AI 爱好者，尤其是注重性能和隐私、希望摆脱 Python 环境依赖的技术用户
竞争格局
直接竞争对手为 Ollama 和 LM Studio，当前在 Apple Silicon 性能上具备差异化优势，但 Ollama 生态更成熟、用户基数更大；长期面临大厂（如 Apple 自身 MLX 工具链）挤压风险
标签
开源工具开发者工具本地 AI推理服务器Apple SiliconmacOSAI 基础设施
团队
- David Dalcu — Building mlxserve.com
相关产品
Claude Fable 5 91
Anthropic's most capable model ever — free until June 22
GPT-5.6 88
A new standard for intelligence and efficiency
Apple Intelligence and Siri 88
Use Siri with ChatGPT, Gemini, or Claude
Glaze by Raycast 85
Create your own Mac apps by chatting with AI
Clark 82
An AI coworker with its own cloud computer
Kimi K3 82
The world's first open 3T-class model