管理三方大模型部署任务
模型更新
完成创建三方大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图1 我的空间
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。
- 单击右上角“模型更新”,进入“模型更新”页面。
- 在“可修改配置 > 选择模型”中,可选择模型以替换当前已部署的模型。
- 在“升级配置”中,选择以下两种升级模式:
- 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。需要该服务所消耗资源的2倍,用于保障全量一次性升级。
- 滚动升级:部分实例资源空出用于滚动升级,逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时,系统会先删除旧版本,再进行升级,期间旧版本不可使用。
图2 升级模式升级配置后,需重新启动该部署任务,升级模式即为重启的方式。
修改部署配置
完成创建三方大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图3 我的空间
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。
- 单击右上角“修改部署”,进入“修改部署”页面。
- 在“可修改配置”中,可修改已部署模型的描述信息。
- 在“升级配置”中,选择以下两种升级模式:
- 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。需要该服务所消耗资源的2倍,用于保障全量一次性升级。
- 滚动升级:部分实例资源空出用于滚动升级,逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时,系统会先删除旧版本,再进行升级,期间旧版本不可使用。
图4 升级模式升级配置后,需重新启动该部署任务,升级模式即为重启的方式。
模型部署实例扩缩容
完成创建三方大模型部署任务后,可以对已部署模型的实例进行扩缩容,具体步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图5 我的空间
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。
- 单击右上角“扩缩容”,进入“扩缩容”页面,修改实例数,单击“确认”。
管理模型部署任务
在左侧导航栏中选择“模型开发 > 模型部署”,在模型服务列表中,可以对服务进行启动、停止、调用统计和删除操作。
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图6 我的空间
- 在左侧导航栏中选择“模型开发 > 模型部署”,可进行如下操作:
- 启动。单击操作列的“启动”,可以启动被停止的模型服务,启动后可以调用该模型服务进行推理。
- 停止。单击操作列的“停止”,可以停止处于“运行中”模型服务。
- 调用统计。单击操作列的“更多 > 调用统计”,展示该模型的调用统计,包含调用次数和token统计。
- 删除。单击操作列的“更多 > 删除”,可以删除当前不需要的模型任务。
删除属于高危操作,删除前请确保当前任务不再需要。