Cartesia 如何在 AWS 上构建超低延迟语音 AI 应用

对话式 AI 正在改变人机交互方式，但语音体验的难点在于延迟：AI 生成语音必须落在与人类对话轮次相近的时间窗口内，否则对话流畅感会被打断。AWS 合作伙伴 Cartesia 采用自研的 State Space Models（SSM）架构，在 AWS 基础设施上提供实时语音能力，主打 sub-100ms 的首字节延迟。

SSM 与 Transformer 的差异

传统基于 Transformer 的文本转语音模型需要先处理完整序列再输出，流式场景下延迟偏高，形成“质量越高、延迟越大”的矛盾。SSM 把序列视为随时间连续演进的系统，逐步处理并携带固定大小的内部状态：计算量不随序列长度二次增长，内存占用恒定，且天然支持逐 token 流式处理。相比 LSTM 等经典循环网络，结构化 SSM 的状态参数化能保留长音频序列中的信息，避免长程信号衰减。

Sonic 与 Ink 两款模型

Cartesia 将上述特性落到两款生产模型上。Sonic 是流式文本转语音模型，首段音频字节约 90ms 输出，支持 44 种以上语言的自然韵律与情感表达，可用 10 秒音频样本完成音色克隆，并在完整文本输入到达前就开始生成音频，适合希望以最小运维开销快速上线的团队。Ink 是流式语音转文字模型，内置原生轮次检测，无需单独的 VAD 或端点检测模型；结合语义理解区分句中停顿与真正的对话边界，实时输出部分转写结果，使下游大语言模型可在用户说完前开始组织回复，并针对嘈杂环境和多人重叠语音做了处理。

部署与适用场景

原文提到，若有数据主权、延迟控制或合规需求，可在 AWS 上部署 Cartesia 的相关能力。文章列举的典型场景包括客服中心、远程医疗、游戏与虚拟世界中的 NPC 语音、无障碍屏幕阅读器，以及需要避免尴尬停顿的销售外呼与呼入。

编辑部观察

需要区分的是，sub-100ms 与约 90ms 首字节延迟均为厂商自述指标，原文未给出独立第三方测试条件、网络环境或对比基线，实际端到端体验还取决于部署区域、网络链路与下游 LLM 的响应速度。对计划落地语音智能体的团队，建议先在自己的目标区域和真实网络下复测首字节延迟与轮次检测准确率，再评估音色克隆在合规与授权上的要求。