部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

账户未欠费。 操作步骤 在“服务部署”页面，按表1填写服务的相关参数，然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称，单击可修改服务默认服务名称。 描述 待部署服务的简要说明。 资源池 用于服务部署的资源池和资源类型，可选“公共资源池”和“专属资源池”。

查看更多 →

账户未欠费。 操作步骤 在“服务部署”页面，按表1填写服务的相关参数，然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称，单击可修改服务默认服务名称。 描述 待部署服务的简要说明。 资源池 用于服务部署的资源池和资源类型，可选“公共资源池”和“专属资源池”。

查看更多 →

云状识别工作流支持将服务一键部署至边缘设备，如果将服务部署至边缘设备，请提前在华为HiLens控制台注册Atlas 500设备，详细注册方式请前往华为云论坛参与讨论。 操作步骤 在“服务部署”页面，按表1填写服务的相关参数，然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数

查看更多 →

服务部署 进入服务器，并移动到/app/appdeploy目录下 启动&停止 启动：nohup java -jar cim-1.0-SNAPSHOT.jar & 停止：找到pid， 执行： kill -9 pid 父主题： CIM全时空门户部署

查看更多 →

user_ddl.sql source user_dml.sql 部署nacos 导入yaml部署nacos 图1 部署nacos 上传nacos配置 新建命名空间 图2 新建 命名空间内导入配置 图3 导入配置 部署服务 图4 部署服务 父主题： 实施步骤

查看更多 →

如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y

查看更多 →

部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910）

查看更多 →

如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.5。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。

查看更多 →

3-r0及以上版本集群支持。 负载均衡配置：您可以单击负载均衡配置的“编辑”图标配置ELB实例的参数，在弹出窗口中配置ELB实例的参数。 分配策略：可选择加权轮询算法、加权最少连接或源IP算法。 加权轮询算法：根据后端服务器的权重，按顺序依次将请求分发给不同的服务器。它用相应的权重表示服务器的处理性

查看更多 →

宽概述。 负载均衡配置：您可以单击负载均衡配置的“编辑”按钮配置ELB实例的参数，在弹出窗口中配置ELB实例的参数。 分配策略：可选择加权轮询算法、加权最少连接或源IP算法。 加权轮询算法：根据后端服务器的权重，按顺序依次将请求分发给不同的服务器。它用相应的权重表示服务器的处理性

查看更多 →

。 图1 服务部署流程 操作步骤 查找服务。 登录OSC控制台，可以使用服务目录页面顶部的搜索框，按照服务名称查询所需的服务。 如果不确定服务名，在服务目录页面单击“更多服务”，按照服务类型、应用场景等条件来筛选。OSC提供以下筛选条件，帮助用户快速获取所需服务。 表1 筛选条件

查看更多 →

。 部署算法服务 华为自研的边缘算法、非华为自研的云上、边缘算法在使用前均需进行部署，当算法的部署状态为“运行中”时，才能下任务进行使用。 进入“算法服务”，单击目标算法服务“操作”列的“部署”，进入“部署算法”页面。 参考表1填写相关参数。 表1 部署算法参数说明 参数名称 参数说明

查看更多 →

安全组入方向已放开80、8001、8002端口。 操作步骤 安装Nginx服务。 执行以下命令Nginx。 dnf install nginx 执行以下命令启动Nginx服务。 systemctl start nginx 执行以下命令查看Nginx服务状态。 systemctl status nginx

查看更多 →

i服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不同实例部署在一台机器上，不同实例需要使用不同端口号 --model：HuggingFace下载的官方权重

查看更多 →

i服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不同实例部署在一台机器上，不同实例需要使用不同端口号 --model：HuggingFace下载的官方权重

查看更多 →

i服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不同实例部署在一台机器上，不同实例需要使用不同端口号 --model：HuggingFace下载的官方权重

查看更多 →

部署预测分析服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中，待训练状态变为“等待输入”，双击“服务部署”节点，完成相关参数配置。

查看更多 →

部署跟踪服务 图1 部署跟踪服务 计算资源配置 按需配置，推荐内存8G以上，加速卡缺省1个（暂时无法精确到小数） 图2 计算资源配置 环境变量配置 新版本不需要配置DETECTION_3D_ENDPOINT，可自动从HiLens配置的环境变量中获取 表1 环境变量配置 环境变量名称

查看更多 →