部署Deepseek大模型
模型训练完成后,可以启动模型的部署操作。
- 登录ModelArts Studio平台,进入所需空间。
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
- 在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击“确定”进入“创建部署”页面。
- 在“创建部署”页面,参考表1完成部署参数设置,启动模型部署。
表1 三方大模型部署参数说明 参数分类
部署参数
参数说明
部署配置
选择模型
可以修改如下信息:
- 来源:选择“模型广场”。
- 类型:选择“大语言模型”,并选择需要进行部署的模型和版本。
部署方式
云上部署:算法部署至平台提供的资源池中。
Deployed_model
通过V2版本推理接口调用该推理服务时的唯一标识。
安全护栏
开启并同意授权
安全护栏保障模型调用安全。
版本选择
当前支持安全护栏基础版,内置了默认的内容审核规则。
资源配置
计费模式
限时免费。
实例数
设置部署模型是所需的实例数,单次部署服务时,部署实例个数建议不大于10,否则可能触发限流导致部署失败。
安全护栏
开启/关闭
试用版场景默认开启安全护栏,模型推理时有效拦截有害内容。
基本信息
服务名称
设置部署任务的名称。
描述(选填)
设置部署任务的描述。
标签(选填)
设置部署任务的标签,部署和更新模型时,以“SERVICE_TAGS_CONFIG”为key,标签信息的json体Base64字符串为value添加到模型服务的环境变量中。
- 参数填写完成后,单击“立即部署”。