BaseRT
6.4x faster than llama.cpp, 3.9x faster than MLX
评分 72 ▲ 192 ◆ 32 免费 PH 精选
概述
BaseRT 是专为 Apple Silicon 优化的本地 LLM 推理运行时，比主流方案快 6 倍以上，让用户一行命令即可在自己设备上运行大语言模型。
创新点
针对 Apple Silicon（Metal/Neural Engine）深度优化推理性能，在同类工具中取得显著速度优势（6.4x vs llama.cpp，3.9x vs MLX），安装门槛极低
目标用户
在 Mac 上运行本地大模型的 AI 开发者、研究者及注重隐私的技术用户
竞争格局
直接竞争对手为 llama.cpp 和 Apple 官方的 MLX 框架，二者均有庞大社区和生态支撑；BaseRT 以性能为单一切入点，差异化明确但护城河较窄，社区规模尚小
标签
开源工具LLM推理引擎本地部署Apple生态AI基础设施开发者工具
团队
- Lukas Wesemann — Run AGI on-device
- Prabod Rathnayaka — Co-founder @ Base Compute
- Fabian Waschkowski — Co-founder @ Base Compute
相关产品
Claude Fable 5 91
Anthropic's most capable model ever — free until June 22
GPT-5.6 88
A new standard for intelligence and efficiency
Apple Intelligence and Siri 88
Use Siri with ChatGPT, Gemini, or Claude
Glaze by Raycast 85
Create your own Mac apps by chatting with AI
Clark 82
An AI coworker with its own cloud computer
Kimi K3 82
The world's first open 3T-class model