更新时间:2024-12-03 GMT+08:00
分享

创建NLP大模型部署任务

模型训练完成后,可以启动模型的部署操作。

  1. 登录ModelArts Studio大模型开发平台,进入所需操作空间。
    图1 进入操作空间
  2. 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
  3. 在“创建部署”页面,模型类型选择“NLP大模型”,参考表1完成部署参数设置,启动模型部署。
    表1 NlP大模型部署参数说明

    参数分类

    部署参数

    参数说明

    部署配置

    模型来源

    选择“盘古大模型”。

    模型类型

    选择“NLP大模型”。

    部署模型

    选择需要进行部署的模型。

    部署方式

    云上部署:算法部署至平台提供的资源池中。

    最大TOKEN长度

    模型可最大请求的上下文TOKEN数。

    架构类型

    算法所支持的结构类型,模型选择完成后,会自动适配架构类型。

    安全护栏

    选择模式

    安全护栏保障模型调用安全。若关闭,推理服务可能会有违规风险,建议开启。

    选择类型

    当前支持安全护栏基础版,内置了默认的内容审核规则,不可调整。

    资源配置

    实例数

    设置部署模型时所需的实例数,单次部署服务时,部署实例个数建议不大于10,否则可能触发限流导致部署失败。

    基本信息

    名称

    设置部署任务的名称。

    描述(可选)

    设置部署任务的描述。

  4. 参数填写完成后,单击“立即部署”。

您可以选择预置模型进行部署,部署时默认开通安全护栏权限。

相关文档