Amazon Bedrock 为 Kimi K3 新增印度境内推理
Amazon Bedrock 在原有的全球推理和美国境内推理之外,新增了 Kimi K3 的印度境内推理选项。Kimi K3 是 Moonshot AI 推出的多模态开放权重基础模型,官方称其在发布时达到前沿水平的编码与通用智能体能力。此次新增的印度推理面向有严格数据驻留要求的本地工作负载。
两种推理配置文件怎么选
Kimi K3 在 Amazon Bedrock 上通过跨区域推理配置文件调用。用户可以从多个 AWS 区域(源区域)发起请求,由 Bedrock 在若干目标区域中安全处理。AWS 表示,跨区域传输的数据全程加密并留在 AWS 网络内,不经过公网,也不需要用户自建多区域 VPC 基础设施。
调用时使用的推理配置文件 ID 决定哪些目标区域可用:
- `global.moonshotai.kimi-k3`:全球配置文件,官方推荐多数场景使用,成本最低、可用范围最广。
- `in.moonshotai.kimi-k3`:印度地理配置文件,推理处理限定在孟买和海得拉巴区域。
具体的可用源区域和目标区域,需以 Amazon Bedrock 的 Kimi K3 模型卡为准。
生产案例:Ultrahuman 的成本与延迟数据
Ultrahuman 工程副总裁 Aditya Patawari 给出了生产环境数据:其应用内的 AI 健康助手 Jade 使用用户自己的 Ring 与血糖数据,以自然语言回答问题,每天处理超过 14,000 次对话。通过已有的 API 接入 Kimi K3,健康数据留在 AWS 内,并以孟买作为回退区域。配合提示词缓存,LLM 成本降低 80%,多轮对话速度提升 85%。
示例:印度语言文档理解
文章给出的示例场景是读取扫描版印地语文档、抽取结构化数据,并用印地语与英语混用的 Hinglish 追问。这类需求常见于印度金融服务和公共部门的 KYC 表单、水电账单等数字化流程。Kimi K3 可直接读取并推理含多语言文字的图像,无需单独的 OCR 或翻译服务。
示例代码托管在 GitHub,运行前提包括:AWS 账户、Python 3.11 或更高版本、已配置凭证的 AWS CLI,以及足以通过印度推理配置文件调用 Kimi K3 的 IAM 权限。文中给出的 IAM 策略覆盖 `ap-south-1` 与 `ap-south-2` 两个区域的模型资源及 `in.moonshotai.kimi-k3` 推理配置文件。
Bedrock 为 Kimi K3 提供多种调用 API:Chat Completions、Responses、Converse 和 InvokeModel。文章推荐使用 OpenAI 兼容接口,示例通过 openai Python 库连接,并用 aws_bedrock_token_generator 从标准 AWS CLI 凭证链派生短期令牌。AWS 建议优先使用短期凭证而非长期 API key。若组织限制可用区域,需请管理员审阅地理跨区域推理的 IAM 与 SCP 指引,保留源区域许可并放行两个印度目标区域。
编辑部观察
印度数据驻留要求是此次更新的直接动因:对金融、医疗等受监管行业,模型推理能否留在境内往往决定项目能否落地。Ultrahuman 的 80% 成本下降与 85% 速度提升来自提示词缓存,属于该客户自述的生产数据,并非对所有工作负载的普遍承诺,读者应结合自身对话轮次和缓存命中率评估。示例中的 OCR 能力依赖模型直接读图,实际精度仍需用自有文档样本验证,尤其是低质量扫描件和多语言混排场景。

