开始使用
该解决方案使用22端口CloudShell方式远程登录云服务器,默认已配置IP地址白名单,若需远程登录云服务器,可直接使用CLoudShell远程登录。
该解决方案自动放通Ollama API网络端口 11434,xinference 服务端口9997。
该解决方案部署成功后,环境初始化及应用安装预计5~10分钟不等,受网络、带宽影响,部署时间会有波动,部署完成方可正常使用。
安全组规则修改(可选)
安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。
如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。
- 添加安全组规则:根据业务使用需求需要开放某个TCP端口,请参考添加安全组规则添加入方向规则,打开指定的TCP端口。
- 修改安全组规则:安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则,来修改安全组中不合理的规则,保证云服务器等实例的网络安全。
- 删除安全组规则:当安全组规则入方向、出方向源地址/目的地址有变化时,或者不需要开放某个端口时,您可以参考删除安全组规则进行安全组规则删除。

在使用本方案之前需要部署Dify开发平台,如果您没有部署请参考快速搭建Dify-LLM应用开发平台部署。
- 浏览器输入http://[弹性公网IP],访问您已部署的Dify开发平台。首次登录需注册管理员账号,依次填写邮箱、账号、密码。
图1 Dify开发平台
- 依次输入上一步骤中的“邮箱”、“密码”登录Dify平台。
图2 登录Dify平台
- 单击右侧“用户名称”下拉并单击“设置”。
图3 设置
- 单击左侧“模型供应商”,在Ollama下单击“添加模型”。
图4 添加模型
- 模型类型选择“Text Embedding”,模型名称填写“bge-m3”,基础URL填写快速部署步骤10中获取的公网IP地址,端口号11434,单击右下角“保存”。
图5 添加Ollama
- 单击左侧“模型供应商”,在Xorbits Inference下,单击“添加模型”。
图6 添加xorbits Inference
- 模型类型选择 Rerank,模型名称与模型UID均填写“bge-reranker-v2-m3”服务器URL填写快速部署步骤10中获取的公网IP地址,端口号9997,单击右下角“保存”。
图7 调试与预览