Cekura Bench
Speech-to-speech model benchmarks on live phone calls
概述
Cekura Bench 是一个面向实时语音模型的公开评测基准,把 9 个语音到语音模型当作完整的电话客服代理放在真实通话中跑 82 个场景、每个跑三次,从可靠性、数据准确性、卡顿挂断、响应时间和成本等维度打分排名,并公开全部通话记录供核验,解决语音 AI 选型时缺乏可复现、可验证第三方评测的问题。
创新点
把评测对象从"模型 API 单轮响应"升级为"端到端实时电话代理",在真实通话环境里跑完整对话流;三项指标组合(可靠性/准确性/延迟/成本)加上全量通话记录公开,使结果可复核、可复现——这正好击中了当下语音基准普遍不可信、厂商自评自夸的痛点。
目标用户
正在选型和落地语音代理的 AI 工程团队与企业技术决策者;语音模型厂商(希望借榜单获得曝光);关注语音 AI 赛道的投资者与分析师
竞争格局
语音评测赛道目前分散:学术侧有 VoiceBench、Full-Duplex-Bench 等数据集式基准,商业侧多为各家自建内部评测或人工体验测评。Cekura Bench 的差异化在于真实电话场景 + 全量转录公开,但门槛不高,模型厂商自建榜单、云厂商官方评测以及 Hugging Face 类平台都可能快速跟进;覆盖 GPT Realtime、Gemini Live、Grok、Phonic 等头部模型也意味着需要持续投入以保持榜单新鲜度。
标签
团队
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- [REDACTED]
- Om Dahale — Software Engineer
相关产品
OpenAI's most capable model for end-to-end work
Anthropic's most capable model ever — free until June 22
Fast, capable computer use at half the price
Google's image model with sharper design and mask editing
Frontier AI intelligence, now at half the price
Google's AI map of every possible human DNA mutation