开始使用

安全组规则修改（可选）

• 该解决方案使用9997端口用来访问Xinference，默认全放通，请参考修改安全组规则，配置IP地址白名单。
• 该解决方案使用22端口用来以SSH方式远程登录云服务器，若需远程登录云服务器，请参考修改安全组规则，配置IP地址白名单，以便能正常访问服务。
• 该解决方案部署成功后，环境初始化预计10-15分钟，受网络、带宽影响，部署时间会有波动，部署完成之后方可正常访问。

安全组实际是网络流量访问策略，包括网络流量入方向规则和出方向规则，通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、数据仓库等实例提供安全保护。

如果您的实例关联的安全组策略无法满足使用需求，比如需要添加、修改、删除某个TCP端口，请参考以下内容进行修改。

• 添加安全组规则：根据业务使用需求需要开放某个TCP端口，请参考添加安全组规则添加入方向规则，打开指定的TCP端口。
• 修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证云服务器等实例的网络安全。
• 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。

Xinference基本使用

对接Dify

1. 参考快速搭建Dify-LLM应用开发平台按需部署需要的Dify版本。
2. 参考快速搭建Dify-LLM应用开发平台部署指南“Dify登录”和“与Maas服务对接”步骤完成Dify的初步配置。
3. 创建聊天机器人应用：登录Dify后点击“探索”，选择“聊天机器人”，点击“添加到工作区”。
   图5 添加聊天机器人应用
   

4. 配置聊天机器人节点。
   图6 进入应用编排页面
   
   图7 配置模型-参考步骤二配置华为云Maas平台任意大语言模型，推荐DeepSeek-V3.2或DeepSeek-V3
   

5. 进入Dify-安装Xinference模型插件。
   图8 在Dify安装插件

   

6. 在Dify点击头像-“设置”，点击“模型提供商”，找到“Xinference”选择添加模型。
   图9 添加模型位置

   

7. 点击Xinference“添加模型”按钮，添加CosyVoice-300M模型，其中服务器URL为Xinference服务器IP。
   图10 添加CosyVoice-300M

   

8. 点击Xinference“添加模型”按钮，添加SenseVoiceSmall模型，其中服务器URL为Xinference服务器IP。
   图11 添加SenseVoiceSmall
   

9. 开启模型服务。
   图12 开启模型服务

   

10. 配置默认的TTS和ASR服务。
    图13 配置TTS和ASR

    

11. 在创建的Dify应用里面选择开启文字转语音和语音转文字并使用。
    图14 开启语音功能
    

    图15 发布运行应用
    

    图16 使用语音服务