Token saver
Self-hosted caching proxy that cuts LLM API costs
评分 62 ▲ 5 ◆ 1 免费增值
概述
Token Saver 是一个自托管的 LLM API 缓存代理，通过精确哈希匹配和语义相似度去重来拦截重复请求，帮助开发者大幅降低大模型 API 调用成本。
创新点
结合 SHA256 精确匹配与 sentence-transformers 语义嵌入的双层缓存策略，能捕捉近似查询而非仅完全重复，同时集成预算管理、异常检测和告警，形成较完整的成本治理闭环
目标用户
构建 LLM 应用的独立开发者、小型团队及企业工程师，尤其是有多用户场景、关注 API 成本控制的技术用户
竞争格局
竞争对手包括 GPTCache、LangChain 内置缓存、Portkey、Helicone 等；差异化在于完全自托管+MIT 开源，数据不出本地，但品牌知名度和生态整合度弱于头部竞品
标签
开源工具开发者工具API 代理成本优化自托管AI 基础设施开发者/工程师MIT 许可
团队
- Kunal — Solo orchestrator
相关产品
Claude Fable 5 91
Anthropic's most capable model ever — free until June 22
GPT-5.6 88
A new standard for intelligence and efficiency
Glaze by Raycast 85
Create your own Mac apps by chatting with AI
Clark 82
An AI coworker with its own cloud computer
Kimi K3 82
The world's first open 3T-class model
Kimi K3 82
The world's first open 3T-class model