方案概述

应用场景

Xinference 是一款基于大语言模型的开源框架。本方案在此基础上进行功能扩展，对接华为云 SIS 语音服务，实现语音转文本（ASR）和文本转语音（TTS）能力。语音识别脚本调用华为云 SIS 接口，将用户语音实时转写为文本，作为 Xinference 大模型的输入；语音合成脚本则将模型生成的回复文本合成为语音输出。核心是打造一个"能听会说"的智能对话系统，让用户无需键盘输入，直接用语音即可完成交互，获得流畅自然的语音回复体验。

方案架构

该解决方案以Xinference作为框架，SIS语音服务作为底层语音调用，帮助您快速部署语音交互服务。您可以根据实际情况，选择部署语音转文本（SenseVoiceSmall）和文本转语音服务（CosyVoice-300M）。

图1 方案架构图

该解决方案将会部署如下资源：

• 创建1台华为云Flexus云服务器X实例，用于部署Xinference模型应用。
• 创建1个弹性公网IP EIP并关联华为云Flexus云服务器X实例，提供访问公网和被公网访问能力。
• 创建1个语音交互服务 SIS，提供语音交互服务能力。
• 创建1个虚拟私有云 VPC。
• 创建1个安全组 SecurityGroup，通过配置安全组规则，为云服务器提供安全防护。

方案优势

• 开箱即用

  无需额外开发，通过两个扩展脚本即可完成华为云 SIS 语音服务的对接配置，快速为 Xinference 赋予语音输入输出能力。

• 交互便捷

  用户无需键盘输入，通过语音即可完成对话，系统回复也以语音形式输出，实现真正的“解放双手”。

• 安全可控

  语音数据通过华为云 SIS 服务进行加密传输和处理，保障数据安全；脚本与 Xinference 间仅传递转写后的文本与合成音频，不存储用户语音数据，确保使用过程合规可控。

• 识别精准

  依托华为云 SIS 先进的语音识别与合成技术，支持多种方言和语言，具备高识别准确率和自然的合成音质，能够适应复杂环境下的语音交互需求。

• 易于集成

  两个扩展脚本轻量独立，与 Xinference 松耦合，可灵活部署；支持快速接入不同的语音服务商，能够快速嵌入到Dify等应用，扩展性强。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。

• 如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托；如果使用华为云主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。
• 本内容可能包含第三方开源软件、组件或框架的技术说明与配置示例，请您独立评估并自主决定是否使用，华为云不就第三方软件的功能、性能、安全性、兼容性或合规性作出任何保证。第三方软件知识产权归各自权利人所有，您应严格遵守适用的开源许可证条款（如 MIT、Apache 2.0、GPL 等），确保不侵犯任何第三方合法权益，并自行负责安全评估与漏洞管理。因您使用本方案提及的任何第三方软件产生的直接或间接损失（包括但不限于数据丢失、业务中断、安全事件、知识产权纠纷、合规处罚等），华为云及其关联方不承担任何责任。本方案对第三方软件的提及不构成认可或背书，亦不代表华为云与第三方权利人存在任何授权或合作关系。