开始使用
该解决方案使用22端口CloudShell方式远程登录云服务器,默认已配置IP地址白名单,若需远程登录云服务器,可直接使用CLoudShell远程登录。
该解决方案部署成功后,环境初始化预计5-10分钟,受网络、带宽影响,部署时间会有波动,部署完成方可正常访问。
安全组规则修改(可选)
安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。
如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。
使用步骤(以对接到Dify平台为例)
注意:本方案只基于Ollama部署模型,不涉及安装Dify,安装Dify请参考快速搭建Dify-LLM应用开发平台。
- 登录弹性云服务器 ECS控制台,如下图所示获取3.2快速部署步骤3中的部署的弹性云服务器的弹性公网 IP地址。
图1 获取公网IP
- 登录Dify平台,单击右侧“用户名称”下拉并单击“设置”。
图2 设置
- 单击左侧“模型供应商”,在Ollama下单击“添加模型”。
图3 添加模型
- 模型名称填写3.2快速部署步骤3中实际部署的模型对应到Ollama平台的名称,如“qwen3:8b-fp16”,基础URL填写步骤1中获取的公网IP地址,端口号11434(事先在安全组放通Dify平台IP,端口11434,参考修改安全组规则),单击右下角“保存”并关闭“设置”。
图4 添加Ollama
- 选择“创建空白应用”,单击“聊天助手”并填写“应用名称&图标”,单击右下角“创建”。
图5 创建空白应用图6 创建应用
- 单击左侧“编排”,在右下角“和机器人聊天”中输入内容即可调试预览。
图7 调试与预览