创建CV大模型部署任务
平台支持部署训练后的模型或预置模型,操作步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图1 我的空间
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
- 在“创建部署”页面,参考表1完成部署参数设置。
表1 CV大模型部署参数说明 参数分类
部署参数
参数说明
部署配置
选择模型
可以修改如下信息:
- 来源:选择“模型广场”或“我的资产”。
- 类型:选择“CV大模型”,并选择需要进行部署的模型和版本。
部署方式
支持“云上部署”和“边缘部署”,其中,云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。
- 部分模型资产支持边缘部署方式,若选择“边缘部署”,需要设置如下参数:
- 环境变量:边缘部署大模型需要的基本运行参数,具体参见模型环境变量配置说明。
- 资源池。选择部署模型所需的资源池。
- CPU。部署需要使用的最小CPU值(物理核)。
- 内存。部署需要使用的最小内存值。
- Ascend。部署使用的NPU数量。
- 实例数。设置部署模型时所需的实例数。
资源配置
计费模式
包年包月计费模式。
实例数
设置部署模型时所需的实例数。
订阅提醒
订阅提醒
该功能开启后,平台支持两种订阅类型,预置通知和SMN通知。
预置通知:系统将在任务状态运行、失败或者告警时,通过短信或邮件将提醒发送给用户。
SMN通知:用户可在SMN云服务创建主题并维护订阅信息,在创建部署时选择对应主题以及需要通知的状态。训练状态范围:运行、失败、告警。
基本信息
服务名称
设置部署任务的名称。
描述(可选)
设置部署任务的描述。
标签(可选)
设置部署任务的标签,部署和更新模型时,以“SERVICE_TAGS_CONFIG”为key,标签信息的json体Base64字符串为value添加到模型服务的环境变量中。
- 参数填写完成后,单击“立即部署”。
模型环境变量配置说明
基础配置参数
基础配置参数包括启动视频流推理的基本运行参数,在启动时通过环境变量进行添加。
|
键名 |
含义 |
|---|---|
|
ADDRS |
IVS相机编码或者rtsp视频流地址,如有多项通过","分隔;如果不配置该变量,将会启动图片推理服务。 |
|
VIDEO_DECODE_BACKEND |
表示视频解码后端,目前支持的值为npu、cpu,默认值为npu。 |
|
IS_AUTO_VIDEO_BACKEND |
表示是否自动根据文件类型选择cpu解码或npu解码,默认取值为false。 |
|
VIDEO_FRAME_EXTRACTING_INTERVAL |
表示为视频抽帧间隔,类型为int值,默认值为5,表示每5帧抽一帧。 |
|
CLOSE_FFMPEG_TIMEOUT_SET |
控制opencv ffmpeg time out的开关。服务默认设置opencv ffmpeg time out的值为"timeout;1000",通过填写该环境变量的值为true,可关闭该设置。 |
|
SPEC_VALUE |
表示视频流路数的最大部署上限,默认为1,如果需要部署多路视频,可以通过增加路数实现。离线部署时,最大视频路数不能超过license数量。 |
|
MONITOR_DECODE_PERIOD |
表示为监控指标的周期次数,默认为360(min),即连续360min视频流抽帧数无新增则视为推理异常,触发容器重启。 |
|
IIT_LOG_LEVEL |
表示推理日志级别的设置,默认为info,可设置的范围为["debug", "info", "warning", "error", "critical"]。 |