SineFrame M3
Test MCP servers and the agents that call them in pytest
概述
SineFrame M3 是一个开源的 MCP 服务器与 Agent 集成测试框架，它把被测 MCP Server 接入 Claude Code、Codex、OpenCode、Pi 等真实编码代理，在 pytest 里对代理实际发出的工具调用做断言，从而补上「单元测试通过但代理根本没调用工具」这一盲区。
创新点
关键创新在于把测试层级从「函数被调用」提升到「真实代理是否发起该调用」。传统 MCP 测试只验证 server 的输入输出契约，M3 让真实代理（Claude Code、Codex、OpenCode、Pi）跑完整链路，再对 trace 里的实际工具调用做断言，等价于给 Agent 行为写了可回归的集成测试。辅以两点工程细节：直接测试无需 API key（降低接入门槛），以及 m3 ui / m3 ci --upload 把 trace 与工具调用可视化并接入 PR 门禁，形成「本地调试 → CI 守门」的闭环。
目标用户
构建和维护 MCP Server 的开发者、做 AI Agent 产品的工程团队，以及需要在 CI 中为代理行为设置质量门禁的平台/DevOps 团队；核心用户是已经把 MCP 接入生产或准生产流程、开始被「代理不按预期调用工具」困扰的人。
竞争格局
目前处于早期蓝海但很快会拥挤。相邻玩家包括 MCP Inspector 等官方调试工具（只能手工验证，无断言与 CI）、pytest 生态里的通用 MCP 测试插件（停在契约层）、以及 LangSmith、Braintrust 等 Agent 评估/可观测平台（强在线上 trace 与打分，弱在「以真实 CLI 代理为被测对象」这一形态）。M3 的差异化是把「真实代理 + pytest 原生体验 + 开源」三点叠在一起，劣势是上游代理（Claude Code、Codex 等）行为频繁变动会带来持续维护成本，且一旦 MCP 官方或头部评估平台推出同类功能，护城河主要靠社区与 CI 面板的粘性。
标签
团队
- [REDACTED]
- Utkarsh Pandey
相关产品
OpenAI's most capable model for end-to-end work
Anthropic's most capable model ever — free until June 22
Fast, capable computer use at half the price
Google's image model with sharper design and mask editing
Prompt, edit and prototype without leaving the canvas
Frontier AI intelligence, now at half the price