当您使用自定义脚本创建算法的时候，如果您的模型引用了其他依赖，您需要在“算法管理 > 创建算法”的“代码目录”下放置相应的文件或安装包。 安装python依赖包请参考模型中引用依赖包时，如何创建训练作业？ 安装C++的依赖库请参考如何安装C++的依赖库？ 在预训练模型中加载参数请参考如何在训练中加载部分训练好的参数？

查看更多 →

“DNS 服务器 ”设置以及 域名 的解析记录。 内网解析 为E CS 配置内网域名实现 云服务器 平滑切换 云解析服务 DNS 弹性云服务器 ECS 云数据库 RDS 网站运行时服务器故障，需要将业务切换到备份的云服务器时，如果云服务器没有配置内网域名，则需要通过修改主业务节点ECS的代码来重

查看更多 →

将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测

查看更多 →

的证书不支持一键部署到云产品。如需在对应云产品中使用证书，可以先将证书下载到本地，然后再到对应云产品中上传证书及私钥并进行部署。 国密证书暂不支持一键部署到华为云其他云产品。 已上传的第三方证书和有效期为三个月的测试证书部署到 华为云产品 需要收费，每一张证书部署到华为云产品的一个域

查看更多 →

的证书不支持一键部署到云产品。如需在对应云产品中使用证书，可以先将证书下载到本地，然后再到对应云产品中上传证书及私钥并进行部署。 国密证书暂不支持一键部署到华为云其他云产品。 已上传的第三方证书和有效期为三个月的测试证书部署到华为云产品需要收费，每一张证书部署到华为云产品的一个域

查看更多 →

LISTEN 1296/sshd 部署nginx 运行如下命令下载官方nginx安装包。 wget -C /opt/ http://nginx.org/download/nginx-1.18.0.tar.gz 运行如下命令到/opt目录下并解压nginx-1.18.0.tar

查看更多 →

目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step3 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 执行如下命令进入容器。

查看更多 →

Online暂不支持GPU加速，建议安装tensorflow-cpu减小磁盘占用，并加快安装速度。 鲲鹏镜像暂时无法安装TensorFlow，敬请期待后续更新。 父主题： 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型

查看更多 →

添加磁盘 应用场景 创建云硬盘并挂载到已创建的弹性云服务器。 相关资源 huaweicloud_evs_volume huaweicloud_compute_volume_attach 操作步骤 在main.tf文件中增加以下内容。 resource "huaweicloud_evs_volume"

查看更多 →

Standard创建模型。 当用户使用自定义引擎时，默认开启动态加载，模型包与镜像分离，在服务部署时动态将模型加载到服务负载。 配置健康检查 大模型场景下导入的模型，要求配置健康检查，避免在部署时服务显示已启动但实际不可用。 图3 采用自定义引擎，开启动态加载并配置健康检查示例图 部署在线服务

查看更多 →

创建一台ECS实例 应用场景 弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后，您就可以像使用自己的本地PC或物理服务器一样，在云上使用弹性云服务器。华为云提供了多种类型的弹性云服务器，可满足不同的使用

查看更多 →

成功的资源状态。 配置完毕后可以单击“下一步”进入确认配置页面。 确认配置 此时有两种途径可以操作，分别是单击“创建执行计划”和“直接部署资源栈”: 单击“直接部署资源栈”，出现弹框确认 图7 直接部署资源栈 单击“确定”会发现有新的资源栈生成，状态为“正在部署”，如图8： 图8

查看更多 →

使用MoXing训练模型，“global_step”放在Adam名称范围下，而非MoXing代码中没有Adam名称范围，如图1所示。其中1为使用MoXing代码，2代表非MoXing代码。 图1 代码示例 处理方法 Fine Tune就是用别人训练好的模型，加上自己的数据，来训练新的模型。相当

查看更多 →

要根据实时监控到的云服务器CPU使用率、内存使用率等指标对云服务器数量进行动态调整。 电商网站，在进行大型促销活动时，需要定时增加云服务器数量和带宽大小，以保证促销活动顺利进行。 视频直播网站，每天14:00~16:00播出热门节目，每天都需要在该时段增加云服务器数量，增大带宽大小，保证业务的平稳运行。

查看更多 →

绑定弹性公网IP 应用场景 购买弹性公网IP并绑定给已创建的弹性云服务器。 相关资源 huaweicloud_vpc_eip huaweicloud_compute_eip_associate 操作步骤 在main.tf文件中增加以下内容。 resource "huaweicloud_vpc_eip"

查看更多 →

采用持续部署模型 当部署出问题时，通过使用持续部署模型来实现尽早发现问题，减少对最终用户的影响。 金丝雀部署是持续部署的常见模型，通过一小群内部或外部用户首先部署新功能，当新版本没有问题后，陆续部署到更大的组，直到所有用户群体都运行新版本。 另一种常见的部署模型是蓝绿部署，通过部

查看更多 →

查看科学计算大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看

查看更多 →

使用ModelArts Standard部署模型并推理预测 推理部署使用场景 创建模型 创建模型规范参考 将模型部署为实时推理作业 将模型部署为批量推理服务 管理ModelArts模型 管理同步在线服务 管理批量推理作业

查看更多 →

已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。 cd benchmark_tools 多模态模型脚本相对路径是

查看更多 →

已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。 cd benchmark_tools 多模态模型脚本相对路径是

查看更多 →

已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。 cd benchmark_tools 多模态模型脚本相对路径是

查看更多 →