型”，参考表1完成部署参数设置，启动模型部署。 表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 云上部署：算法部署至平台提供的资源池中。 最大TOKEN长度

查看更多 →

下： prefill_latency（首token时延）：请求从到达服务开始到生成首token的耗时 model_prefill_latency（模型计算首token时延）：服务从开始计算首token到生成首token的耗时 avg_decode_latency（平均增量toke

查看更多 →

转换所需的配置文件。模型文件的输入目录规范请见模型输入目录规范。 转换输出目录 若在上文“模型来源”中，选择需要转换格式的模型（非om格式模型），单击选择模型转换完成后输出的OBS目录。请确保该目录下没有om模型。输出目录规范请见模型输出目录规范。 高级选项 包括输入张量形状、转换输出节点等参数选项，详情请见表2。

查看更多 →

下： prefill_latency（首token时延）：请求从到达服务开始到生成首token的耗时 model_prefill_latency（模型计算首token时延）：服务从开始计算首token到生成首token的耗时 avg_decode_latency（平均增量toke

查看更多 →

转换所需的配置文件。模型文件的输入目录规范请见模型输入目录规范。 转换输出目录 若在上文“模型来源”中，选择需要转换格式的模型（非om格式模型），单击选择模型转换完成后输出的OBS目录。请确保该目录下没有om模型。输出目录规范请见模型输出目录规范。 高级选项 包括输入张量形状、转换输出节点等参数选项，详情请见表2。

查看更多 →

发布模型到AI Gallery 除了Gallery提供的已有资产外，还可以将个人创建的资产发布至Gallery货架上，供其他AI开发者使用，实现资产共享。 模型资产上架 登录AI Gallery，选择右上角“我的Gallery”。 在左侧“我的资产 > 模型”下，选择未发布的模型，单击模型名称，进入模型详情页。

查看更多 →

托管模型到AI Gallery AI Gallery上每个资产的文件都会存储在线上的AI Gallery存储库（简称AI Gallery仓库）里面。每一个模型实例视作一个资产仓库，模型实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓库有个

查看更多 →

将olc目录复制到tfinstance下，自行在meta.json中添加资源组，调用olc即可。 将olc目录复制到tfinstance下，再将生成的meta.json与自己服务的meta.json合并即可。 IAC的provider已经上线，业务无需关心。直接在部署服务调用部署相应的资源组即可。

查看更多 →

13-python3.6-gpu tf1.13-python3.6-cpu tf1.13-python3.7-cpu tf1.13-python3.7-gpu tf2.1-python3.7（待下线） tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18

查看更多 →

将olc目录复制到tfinstance下，自行在meta.json中添加资源组，调用olc即可。 将olc目录复制到tfinstance下，再将生成的meta.json与自己服务的meta.json合并即可。 IAC的provider已经上线，业务无需关心。直接在部署服务调用部署相应的资源组即可。

查看更多 →

。 内网解析 为E CS 配置内网 域名 实现 云服务器 平滑切换 云解析服务 DNS 弹性云 服务器 ECS 云数据库 RDS 网站运行时服务器故障，需要将业务切换到备份的云服务器时，如果云服务器没有配置内网域名，则需要通过修改主业务节点ECS的代码来重新设置云服务器的内网IP地址，该操作需要中断业务并重新发布网站，耗时耗力。

查看更多 →

目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step3 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 执行如下命令进入容器。

查看更多 →

部署组件到指定CCE集群 本章节指导您部署组件到使用前准备时已经创建好的指定环境（例如：env-cce-az1）下的CCE集群。 操作步骤 登录ServiceStage控制台。 单击“应用管理”，进入应用列表。 单击创建应用时创建的应用名称（例如：test-app）“操作”栏的“新增组件”。

查看更多 →

provider的配置信息，本地调测的时候，我们推荐您使用环境变量的方式配置ak和sk，不要在providers.tf文件中直接配置ak和sk。 variables.tf，部署模板中定义的变量，需要部署时手工输入，比如ECS实例的密码。 versions.tf，huaweicloud

查看更多 →

开发环境中的Notebook支持。训练作业和模型部署（即推理）暂时不支持。 Keras是一个用Python编写的高级神经网络API，它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本 在M

查看更多 →

手动上传各类包到AppStage软件仓库 部署服务支持手动上传软件包、部署包、SQL包、IaC3.0包及TF模板包至软件仓库。 前提条件 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 上传包 上传包需要获取服务运维岗位权限，权限申请操作请参见申请权限。 进入AppStage运维中心。

查看更多 →

将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测

查看更多 →

目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step3 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 执行如下命令进入容器。

查看更多 →

发的证书不支持一键部署到云产品。如需在对应云产品中使用证书，可以先将证书下载到本地，然后再到对应云产品中上传证书及私钥并进行部署。 已上传的第三方证书和有效期为三个月的测试证书部署到 华为云产品 需要收费，每一张证书部署到华为云产品的一个域名计为一次部署，证书部署费用为30元/次。具

查看更多 →

软件包 应用软件包，可使用虚拟机部署和容器部署，一般用于虚拟机部署，包括软件包（虚拟机部署使用）、测试用例包、函数包（函数部署使用）。 使用开发中心推包/上传软件包 在IaC代码中定义需要使用的软件包，通过IaC变更完成应用部署。 软件包 部署包 用户部署虚拟机时使用的脚本包（playbook文件）。

查看更多 →

当您使用自定义脚本创建算法的时候，如果您的模型引用了其他依赖，您需要在“算法管理 > 创建算法”的“代码目录”下放置相应的文件或安装包。 安装python依赖包请参考模型中引用依赖包时，如何创建训练作业？ 安装C++的依赖库请参考如何安装C++的依赖库？ 在预训练模型中加载参数请参考如何在训练中加载部分训练好的参数？

查看更多 →