GitHub
Transparent semantic cache for LLM API calls on Redis VS
评分 62 ▲ 5 ◆ 1 免费
概述
Khazad 是一个透明的 LLM API 语义缓存工具，通过拦截 HTTP 请求并从 Redis 向量缓存中返回语义等价的结果，帮助开发者避免重复调用 LLM 接口、显著降低 API 费用。
创新点
在 httpx 传输层透明拦截流量，无需修改任何业务代码即可接入语义缓存；结合 Redis 8 向量搜索实现语义相似度匹配，而非简单的字符串精确缓存，支持会话感知和流式响应
目标用户
使用 OpenAI、Anthropic、Gemini 等 LLM API 的开发者，尤其是在 dev/CI/demo 环境中频繁重复调用的团队
竞争格局
竞争对手包括 GPTCache、LangChain 自带缓存层等，但多数需要代码侵入；Khazad 的零代码改动切入点有一定差异化，市场尚处早期，竞争不激烈
标签
开源工具Developer ToolsAPILLM优化开发者AI基础设施
团队
- Guglielmo Cerri — AI eng
相关产品
Claude Fable 5 91
Anthropic's most capable model ever — free until June 22
GPT-5.6 88
A new standard for intelligence and efficiency
Glaze by Raycast 85
Create your own Mac apps by chatting with AI
Clark 82
An AI coworker with its own cloud computer
Kimi K3 82
The world's first open 3T-class model
Kimi K3 82
The world's first open 3T-class model