启动推理服务 配置需要使用的NPU卡为容器中的第几张卡。例如：实际使用的是容器中第1张卡，此处填写“0”。 export ASCEND_RT_VISIBLE_DEVICES=0 如果启动服务需要使用多张卡，则按容器中的卡号依次编排。例如：实际使用的是容器中第1张和第2张卡，此处填写为“0

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

image_path 是 str 传给模型的图片路径 payload 是 json 单图单轮对话的post请求json， 可参考表2.请求服务json参数说明 docker_ip 是 str 启动多模态openAI服务的主机ip served_port 是 str 启动多模态openAI服务的端口号

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备模型代码包和权重文件 将OBS中的

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备ascend_vllm代码包、模型权重文件、推理启动脚本run_vllm.s

查看更多 →

在CCE中实现应用高可用部署 基本原则 在CCE中，容器部署要实现高可用，可参考如下几点： 集群选择3个控制节点的高可用模式。 创建节点选择在不同的可用区，在多个可用区（AZ）多个节点的情况下，根据自身业务需求合理的配置自定义调度策略，可达到资源分配的最大化。 创建多个节点池，不

查看更多 →

容器运行环境中设定的变量。可以在部署应用时修改。 单击“添加环境变量”，输入变量名称，变量值支持手动添加、密钥导入、配置项导入和变量引用方式。 手动添加支持自定义变量名称和变量值。 使用密钥导入，环境变量名称可自定义输入，环境变量值支持引用密钥的属性值，密钥创建方法请参见密钥。 使用配置项导入，环境

查看更多 →

节点池创建完成后，单击“弹性伸缩”，在“伸缩对象”中将目标规格的“弹性伸缩”按钮开启，然后单击“确定”进行保存。 步骤二：异构资源配置 单击左侧导航栏的“配置中心”，选择“异构资源配置”页签。 在“GPU配置”中找到“节点池配置”，并选择新增的目标节点池。 参考准备GPU虚拟化资源，选择满足GPU虚拟化要求的驱动，并开启支持GPU虚拟化。

查看更多 →

发布和修改License自动部署商品 关于商品发布流程，商家可参考如下指导文档： 如需发布License类商品，可参考：发布License类商品操作指导。 如需最终上架为License自动部署的商品，只需要在商品规格处，关联自动部署的软件包资产，操作流程如下： ① 进入卖家中心页面

查看更多 →

自动部署商品购买和使用指导 关于商品使用方式，用户可参考如下指导文档： 镜像类商品使用可参考：镜像类商品使用指导。 License类商品使用可参考：License类自动部署商品使用指导。 父主题： 自动部署接入指南

查看更多 →

开发和部署HetuEngine Function Plugin 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine Function Plugin的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17

查看更多 →

GPU）插件，且插件版本不低于2.0.10。 如果需要监控GPU虚拟化监控指标，集群中需要已安装Volcano调度器插件，且插件版本不低于1.10.5。 访问Prometheus Prometheus插件安装完成后会在集群中部署一系列工作负载和Service。其中Prometheus的Serv

查看更多 →

一个典型的SAP应用系统，涉及哪些模块？ 在一个典型的SAP系统中，一般可以分为二大部分：应用 服务器 、SAP HANA数据库。 应用服务器，一般会分为生产/开发/测试，如ERP生产、ERP开发、ERP测试、CRM生产、CRM开发、CRM测试等。生产应用一般采用物理机部署，开发/测试应用可以采用虚拟化部署。采用虚拟化部署时，需要使用共享存储。

查看更多 →

在CloudPond上部署政企本地办公业务 应用场景 某用户为了将现有运行在数据中心虚拟化环境中的办公系统业务进行云化转型升级，在了解了CloudPond产品的特性后，用户决定将CloudPond部署到自有数据中心，并将业务现状进行了如下梳理： 因为使用场景的需要，办公业务没有迁移到公有云的目标。

查看更多 →

您可以根据需要控制是否上传日志到AOM服务，开启之后您可以在AOM中查看日志，具体请参见在AOM查看日志。 勾选“我已经阅读并同意《华为云服务等级协议》”，单击页面右下角的“注册”。 通过证书注册。下载配置文件和边缘节点安装工具，在后续纳管边缘节点时将用到这些。 图3 下载配置文件和边缘核心软件 根据页面提示，单击“下载

查看更多 →

b Services的应用程序具备松散耦合、面向组件和跨技术实现的特点。 分布式服务治理：平台可通过高性能的 RPC 实现服务的输出和输入功能，提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。可实现数据采集交换系统分布式服务治理以及服务监控

查看更多 →

在微服务平台配置部署环境 在微服务容器化部署前，需要先为环境绑定CCE集群，用于在环境下部署和运行微服务。 前提条件 需要提前创建好变更电子流，具体请参见变更电子流管理。 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 在微服务平台中，有已

查看更多 →

Turbo的共享路径，是用于共享存储的目录。多个Pod可以通过网络访问该路径，从而共享同一存储资源。 获取方法：在CCE控制台，单击左上角，单击“存储 > 弹性文件服务 SFS”，左侧导航栏单击“SFS Turbo > 文件系统列表”。在列表中单击对应的SFS Turbo文件存储名称，在“基本信

查看更多 →

什么是区域和可用区域 什么是区域、可用区 使用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为

查看更多 →

什么是区域和可用区？ 什么是区域、可用区？ 我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region

查看更多 →