更新时间:2025-11-26 GMT+08:00
分享

创建CV大模型部署任务

平台支持部署训练后的模型或预置模型,操作步骤如下:

  1. 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
    图1 我的空间
  2. 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
  3. 在“创建部署”页面,参考表1完成部署参数设置。
    表1 CV大模型部署参数说明

    参数分类

    部署参数

    参数说明

    部署配置

    选择模型

    可以修改如下信息:

    • 来源:选择“模型广场”或“我的资产”。
    • 类型:选择“CV大模型”,并选择需要进行部署的模型和版本。

    部署方式

    支持“云上部署”和“边缘部署”,其中,云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。

    • 部分模型资产支持边缘部署方式,若选择“边缘部署”,需要设置如下参数:
      • 环境变量:边缘部署大模型需要的基本运行参数,具体参见模型环境变量配置说明
      • 资源池。选择部署模型所需的资源池。
      • CPU。部署需要使用的最小CPU值(物理核)。
      • 内存。部署需要使用的最小内存值。
      • Ascend。部署使用的NPU数量。
      • 实例数。设置部署模型时所需的实例数。

    资源配置

    计费模式

    包年包月计费模式。

    实例数

    设置部署模型时所需的实例数。

    订阅提醒

    订阅提醒

    该功能开启后,平台支持两种订阅类型,预置通知和SMN通知。

    预置通知:系统将在任务状态运行、失败或者告警时,通过短信或邮件将提醒发送给用户。

    SMN通知:用户可在SMN云服务创建主题并维护订阅信息,在创建部署时选择对应主题以及需要通知的状态。训练状态范围:运行、失败、告警。

    基本信息

    服务名称

    设置部署任务的名称。

    描述(可选)

    设置部署任务的描述。

    标签(可选)

    设置部署任务的标签,部署和更新模型时,以“SERVICE_TAGS_CONFIG”为key,标签信息的json体Base64字符串为value添加到模型服务的环境变量中。

  4. 参数填写完成后,单击“立即部署”。

模型环境变量配置说明

基础配置参数

基础配置参数包括启动视频流推理的基本运行参数,在启动时通过环境变量进行添加。

表2 基础配置参数

键名

含义

ADDRS

IVS相机编码或者rtsp视频流地址,如有多项通过","分隔;如果不配置该变量,将会启动图片推理服务。

VIDEO_DECODE_BACKEND

表示视频解码后端,目前支持的值为npu、cpu,默认值为npu。

IS_AUTO_VIDEO_BACKEND

表示是否自动根据文件类型选择cpu解码或npu解码,默认取值为false。

  • false:表示根据VIDEO_DECODE_BACKEND的值来进行解码。
  • true:表示自动根据视频文件类型进行解码。视频文件为.ts或.mp4类型的,采用cpu解码。其余类型采用npu解码。

    注意:视频文件需要先存放至推理容器中,可通过后处理组件方式,将视频文件和后处理代码template.py放至obs存储中,然后挂载至容器里面,指定ADDRS环境变量为视频文件的容器存放地址,例如/home/HwHiAiUser/obs_template/xxx.mp4即可。

VIDEO_FRAME_EXTRACTING_INTERVAL

表示为视频抽帧间隔,类型为int值,默认值为5,表示每5帧抽一帧。

CLOSE_FFMPEG_TIMEOUT_SET

控制opencv ffmpeg time out的开关。服务默认设置opencv ffmpeg time out的值为"timeout;1000",通过填写该环境变量的值为true,可关闭该设置。

SPEC_VALUE

表示视频流路数的最大部署上限,默认为1,如果需要部署多路视频,可以通过增加路数实现。离线部署时,最大视频路数不能超过license数量。

MONITOR_DECODE_PERIOD

表示为监控指标的周期次数,默认为360(min),即连续360min视频流抽帧数无新增则视为推理异常,触发容器重启。

IIT_LOG_LEVEL

表示推理日志级别的设置,默认为info,可设置的范围为["debug", "info", "warning", "error", "critical"]。

相关文档