构建部署任务
模型训练完成后,即模型处于“已完成”状态时,可以启动模型的部署操作。模型部署列表支持检索模型,部署后的模型可以进行停止、启动、删除操作。
构建部署任务的操作步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
- 在“选择模型”页面,选择“我的资产> 大语言模型 > 模型”,单击“确定”进入“创建部署”页面。
- 在“创建部署”页面,参考表1完成部署参数设置,启动模型部署。
表1 NlP大模型部署参数说明 参数分类
部署参数
参数说明
部署配置
选择模型
可以修改如下信息:
- 来源:选择“我的资产”。
- 类型:选择“大语言模型”,并选择需要进行部署的模型和版本。
部署方式
本案例中选择“云上部署”。
- 云上部署:算法部署至平台提供的资源池中。
- 边缘部署:算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。
最大TOKEN长度
本案例中选择“32768”。
模型可处理的最大上下文长度。
自定义名称
此名称是通过V2版本推理接口调用该推理服务时的唯一标识。创建后不支持修改。
安全护栏
安全护栏
本案例中选择开启安全护栏。
- 关闭:推理服务不调用安全护栏。
- 开启并同意授权:在使用推理服务时用户输入和模型输出均会调用盘古安全护栏,保障模型服务安全。
资源配置
计费模式
限时免费。
实例数
设置部署模型时所需的实例数。
订阅提醒
订阅提醒
本案例中选择关闭订阅提醒。
该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。
基本信息
服务名称
设置部署任务的名称。
描述(选填)
设置部署任务的描述。
- 参数填写完成后,单击“立即部署”。