activation='relu'), tf.keras.layers.Dense(256, activation='relu'), tf.keras.layers.Dropout(0.2), # 对输出层命名output，在模型推理时通过该命名取结果 tf.keras.layers

查看更多 →

one_hot=True) sess = tf.InteractiveSession() serialized_tf_example = tf.placeholder(tf.string, name='tf_example') feature_configs = {'x': tf.FixedLenFeature(shape=[784]

查看更多 →

打开运行中的Notebook实例。 图1 打开Notebook实例 通过功能，上传模型包文件到Notebook中，默认工作目录/home/ma-user/work/。模型包文件需要用户自己准备，样例内容参见模型包文件样例。 图2 上传模型包 打开Terminal终端，解压model.zip，解压后删除zip文件。

查看更多 →

通过功能，上传dockerfile文件和模型包文件到Notebook中，默认工作目录/home/ma-user/work/。 dockerfile文件的具体内容可以参见Dockerfile模板。模型包文件需要用户自己准备，样例内容参见模型包文件样例。 图2 上传dockerfile文件和模型包文件 打开Terminal终端，解压model

查看更多 →

模型部署 ModelArts提供模型、服务管理能力，支持多厂商多框架多功能的镜像和模型统一纳管。 通常AI模型部署和规模化落地非常复杂。 例如，智慧交通项目中，在获得训练好的模型后，需要部署到云、边、端多种场景。如果在端侧部署，需要一次性部署到不同规格、不同厂商的摄像机上，这是一

查看更多 →

建模步骤 创建部署模型。 创建新的部署模型图或者在已有的部署模型图中进行画图设计，如果部署模型场景较多，可根据实际情况将内容进行拆分，按实际部署场景创建多个部署模型图。 建立交付元素与部署元素的部署关系。 从工具箱拖入部署元素创建到部署模型图中，描述部署场景，再将交付模型中定义的打包交付

查看更多 →

程设置>构造型下，绑定到4+1视图 : 部署模型的基础构造型与自定义构造型元素才认定为部署元素）。 1.在部署模型图上创建出来的部署元素； 2.引用到部署模型中的部署元素（包含关联空间中的引用的部署元素）； 如何检查 查询基于模型图构出的部署模型架构树，找出架构树上同一层同名同类型的元素。

查看更多 →

对数据集应用HashingTF之后的结果列名，默认为"tf_col" idf_col - 对数据集应用IDF之后的结果列名，默认为"idf_col" tf_binary - 默认为False tf_num_features - HashingTF中的特征个数 idf_min_doc_freq - 最小文档频率，默认为0

查看更多 →

文本TF-IDF 概述 文本TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库出现的频率成反比下降。文本TF-IDF用于展示文本基于词频统计的输出，经TF-IDF加权的结果。

查看更多 →

model_path) 初始化方法，适用于深度学习框架模型。该方法内加载模型及标签等（pytorch和caffe类型模型必须重写，实现模型加载逻辑）。 __init__(self, model_path) 初始化方法，适用于机器学习框架模型。该方法内初始化模型的路径（self.model_path

查看更多 →

在OBS中的模型文件部署到线上服务管理模块提供的容器中运行，其环境规格（如CPU规格，GPU规格）由表3 predictor configs结构决定。 部署在线服务Predictor需要线上服务端根据AI引擎创建容器，较耗时；本地Predictor部署较快，最长耗时10s，可用以测试模型，不建议进行模型的工业应用。

查看更多 →

ict, save_path=FLAGS.train_url) 复制数据集到本地 复制数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住，所以一般先将数据复制到本地再进行操作。 数据集复制有两种方式，推荐使用OBS路径复制。 OBS路径（推荐）

查看更多 →

部署到CCI CCI部署前进行Docker相关配置 这里主要配置Docker所在的机器相关信息，Docker相关配置流程： 在IntelliJ IDEA顶部菜单栏中选择File> Setting > Huawei Cloud Toolkit Settings > Docker >

查看更多 →

部署到E CS 部署流程 部署验证 父主题： 部署插件能力

查看更多 →

保存模型到OBS 概述 将训练出来的spark标准pipeline类型的模型保存到OBS里面 输入 参数 子参数 参数说明 inputs pipeline_model inputs为字典类型，pipeline_model为pyspark中的PipelineModel对象 输出 无

查看更多 →

为Notebook中权重路径；若服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。若服务部署在Notebook中，该参数为Notebook中权重路径；若服务部署在生产环境中，该参数为服务启动脚本run_vllm

查看更多 →

# 第三方依赖 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。 运行静态benchmark验证脚本benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。 cd

查看更多 →

静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的发

查看更多 →

从训练中选择：在ModelArts中创建训练作业，并完成模型训练，在得到满意的模型后，可以将训练后得到的模型创建为AI应用，用于部署服务。 从 对象存储服务 （OBS）中选择：如果您使用常用框架在本地完成模型开发和训练，可以将本地的模型按照模型包规范上传至OBS桶中，从OBS将模型导入至ModelArts中，创建为AI应用，直接用于部署服务。

查看更多 →

已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-3rdLLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，执行如下命令安装性能测试的关依赖。 pip install

查看更多 →

已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，切换一个conda环境，执行如下命令安装性能测试的关依赖。 conda

查看更多 →