自定义脚本代码示例 从OBS中导入模型文件创建模型时，模型文件包需符合ModelArts的模型包规范，推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例（包含推理代码示例）。模型推理代码编写的通用方法及说明请见模型推理代码编写说明。 Tensorflow

查看更多 →

使用保存成功的镜像用于推理部署 将Step2 在Notebook中调试模型的 自定义镜像 导入到模型中，并部署为在线服务。 登录ModelArts控制台，在左侧导航栏中选择“模型管理”，单击“创建模型”，进入创建模型。 设置模型的参数，如图11所示。 元模型来源：从容器镜像中选择。

查看更多 →

建模步骤 创建部署模型。 创建新的部署模型图或者在已有的部署模型图中进行画图设计，如果部署模型场景较多，可根据实际情况将内容进行拆分，按实际部署场景创建多个部署模型图。 建立交付元素与部署元素的部署关系。 从工具箱拖入部署元素创建到部署模型图中，描述部署场景，再将交付模型中定义的打包交付

查看更多 →

程设置>构造型下，绑定到4+1视图 : 部署模型的基础构造型与自定义构造型元素才认定为部署元素）。 1.在部署模型图上创建出来的部署元素； 2.引用到部署模型中的部署元素（包含关联空间中的引用的部署元素）； 如何检查 查询基于模型图构出的部署模型架构树，找出架构树上同一层同名同类型的元素。

查看更多 →

在Notebook中构建一个新镜像：在ModelArts的开发环境Notebook中制作自定义镜像，镜像规范可参考创建模型的自定义镜像规范。 Step2 构建成功的镜像注册到镜像管理模块：将构建成功的自定义镜像注册到ModelArts的镜像管理模块中，方便下一步调试。 Step3 在Notebook中变更镜

查看更多 →

使用TF模板包创建并部署资源 运维中心IaC当前仅支持少量华为云资源的创建，大部分的资源，包括 MRS 、CCE集群等不支持通过IaC创建。 资源编排 服务（Resource Formation Service，简称 RFS ）封装了TF规范协议，支持华为云上大部分云资源的管理。运维中心当前

查看更多 →

板文件。 详细的开发规范请参考Terraform文档。 variable.tf RFS资源模板中涉及到的变量值，可能多个云服务变量名称不一致，提取出来单独设置。样例如下： CCE-Name-1234: "CCE-Cluster-ERS" 说明： 建议敏感数据不在此文件设置，敏感数据在界面手动输入。

查看更多 →

Standard模型部署 ModelArts Standard提供模型、服务管理能力，支持多厂商多框架多功能的镜像和模型统一纳管。 通常AI模型部署和规模化落地非常复杂。 例如，智慧交通项目中，在获得训练好的模型后，需要部署到云、边、端多种场景。如果在端侧部署，需要一次性部署到不同规格、

查看更多 →

model_path) 初始化方法，适用于深度学习框架模型。该方法内加载模型及标签等（pytorch和caffe类型模型必须重写，实现模型加载逻辑）。 __init__(self, model_path) 初始化方法，适用于机器学习框架模型。该方法内初始化模型的路径（self.model_path

查看更多 →

ict, save_path=FLAGS.train_url) 复制数据集到本地 复制数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住，所以一般先将数据复制到本地再进行操作。 数据集复制有两种方式，推荐使用OBS路径复制。 OBS路径（推荐）

查看更多 →

部署到CCI CCI部署前进行Docker相关配置 这里主要配置Docker所在的机器相关信息，Docker相关配置流程： 在IntelliJ IDEA顶部菜单栏中选择File> Setting > Huawei Cloud Toolkit Settings > Docker >

查看更多 →

在OBS中的模型文件部署到线上服务管理模块提供的容器中运行，其环境规格（如CPU规格，GPU规格）由表3 predictor configs结构决定。 部署在线服务Predictor需要线上服务端根据AI引擎创建容器，较耗时；本地Predictor部署较快，最长耗时10s，可用以测试模型，不建议进行模型的工业应用。

查看更多 →

部署到E CS 部署流程 部署验证 父主题： 部署插件能力

查看更多 →

开源模型怎么部署？ 开源模型的部署需要购买推理单元，具体操作如下： 在AI原生应用引擎的左侧导航栏选择“资产中心”，选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上，单击“部署”。 在“创建部署服务”页面，可以查看到需要几个推理单元，单击“购买推理单元资源”。 图1 创建部署服务

查看更多 →

部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题： 开发盘古NLP大模型

查看更多 →

创建模型的几种场景 从训练作业中导入模型文件创建模型：在ModelArts中创建训练作业，并完成模型训练，在得到满意的模型后，可以将训练后得到的模型创建为模型，用于部署服务。 从OBS中导入模型文件创建模型：如果您使用常用框架在本地完成模型开发和训练，可以将本地的模型按照模型包规范上传至OBS桶

查看更多 →

将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后，可以对模型服务进行模型调测，并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。

查看更多 →

对于采用AI引擎为TensorFlow的训练作业，您可以使用模型训练时产生的Summary文件来创建TensorBoard作业，将需要展示的指标及数据信息写入到Context.get("tensorboard_path")路径下，示例代码如下： import tensorflow as tf from naie.context

查看更多 →

为Notebook中权重路径；若服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。若服务部署在Notebook中，该参数为Notebook中权重路径；若服务部署在生产环境中，该参数为服务启动脚本run_vllm

查看更多 →

部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题： 开发盘古科学计算大模型

查看更多 →

密码。 “部署超时时间” 用于设置单个模型实例的超时时间，包括部署和启动时间。默认值为20分钟，输入值必须在3到120之间。 “添加模型版本进行灰度发布” 当选择的模型有多个版本时，您可以添加多个模型版本，并配置其分流占比，完成多版本和灵活流量策略的灰度发布，实现模型版本的平滑过渡升级。

查看更多 →