创建NLP大模型部署任务
模型训练完成后,可以启动模型的部署操作。
- 登录ModelArts Studio大模型开发平台,进入所需操作空间。
图1 进入操作空间
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
- 在“创建部署”页面,模型类型选择“NLP大模型”,参考表1完成部署参数设置,启动模型部署。
表1 NlP大模型部署参数说明 参数分类
部署参数
参数说明
部署配置
模型来源
选择“盘古大模型”。
模型类型
选择“NLP大模型”。
部署模型
选择需要进行部署的模型。
部署方式
云上部署:算法部署至平台提供的资源池中。
最大TOKEN长度
模型可最大请求的上下文TOKEN数。
架构类型
算法所支持的结构类型,模型选择完成后,会自动适配架构类型。
安全护栏
选择模式
安全护栏保障模型调用安全。若关闭,推理服务可能会有违规风险,建议开启。
选择类型
当前支持安全护栏基础版,内置了默认的内容审核规则,不可调整。
资源配置
实例数
设置部署模型时所需的实例数,单次部署服务时,部署实例个数建议不大于10,否则可能触发限流导致部署失败。
基本信息
名称
设置部署任务的名称。
描述(可选)
设置部署任务的描述。
- 参数填写完成后,单击“立即部署”。
您可以选择预置模型进行部署,部署时默认开通安全护栏权限。