部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session

查看更多 →

e均未配置时，会使用服务层级的cluster_id及pool_name参数，均不配置时则会使用共享资源池；对于edge服务类型，为边缘资源池ID，使用边缘资源池部署服务时需确保资源池状态正常，配置该参数时需要同时配置服务层级的cluster_id参数，且该参数优先级高于服务层级的

查看更多 →

部署服务 功能介绍 部署一个Service实例。 URI POST https://localhost.com/v1/workspaces/{workspace_id}/services/instances 表1 路径参数 参数 是否必选 参数类型 描述 workspace_id

查看更多 →

方式一：通过OpenAI服务API接口启动服务 在llm_inference/ascend_vllm/目录下通OpenAI服务API接口启动服务，具体操作命令如下，可以根据参数说明修改配置。 python -m vllm.entrypoints.openai.api_server

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

IEF相关API（废弃） 创建IEF消息通道（废弃） 边缘Flink作业状态上报（废弃） 边缘Flink作业Action回调（废弃） IEF系统事件上报（废弃） 父主题： 历史API

查看更多 →

IEF云上端点 区域 连接地址 北京一 ief2-edgeaccess.cn-north-1.myhuaweicloud.com 北京四 ief2-edgeaccess.cn-north-4.myhuaweicloud.com 上海一 ief-edgeaccess.cn-east-3

查看更多 →

部署跟踪服务 图1 部署跟踪服务 计算资源配置 按需配置，推荐内存8G以上，加速卡缺省1个（暂时无法精确到小数） 图2 计算资源配置 环境变量配置 新版本不需要配置DETECTION_3D_ENDPOINT，可自动从HiLens配置的环境变量中获取 表1 环境变量配置 环境变量名称

查看更多 →

部署物体定位服务 图1 部署物体定位服务 计算资源配置 按需配置，推荐内存4G以上，加速卡缺省1个（暂时无法精确到小数） 图2 部署物体定位服务 环境变量配置 图3 部署物体定位服务 表1 环境变量配置 名称 示例 描述 MODELS_CONFIG {"models":{"0":

查看更多 →

部署分支安全服务 安全分支场景下，当分支网络建设完成后，可以叠加使用一系列安全服务。本场景支持的安全服务有：边界防护与响应服务、智能终端安全服务、威胁信息服务和云日志审计服务。请根据自身实际诉求，按需部署安全服务，具体参见表1。 表1 安全服务的部署步骤 部署的服务 部署步骤 步骤描述

查看更多 →

0是对外服务端口，而8088、8089则为scheduler调度推理服务端口。 USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 no_

查看更多 →

。 图1 服务部署流程 操作步骤 查找服务。 登录OSC控制台，可以使用服务目录页面顶部的搜索框，按照服务名称查询所需的服务。 如果不确定服务名，在服务目录页面单击“更多服务”，按照服务类型、应用场景等条件来筛选。OSC提供以下筛选条件，帮助用户快速获取所需服务。 表1 筛选条件

查看更多 →

。 部署算法服务 华为自研的边缘算法、非华为自研的云上、边缘算法在使用前均需进行部署，当算法的部署状态为“运行中”时，才能下任务进行使用。 进入“算法服务”，单击目标算法服务“操作”列的“部署”，进入“部署算法”页面。 参考表1填写相关参数。 表1 部署算法参数说明 参数名称 参数说明

查看更多 →

安全组入方向已放开80、8001、8002端口。 操作步骤 安装Nginx服务。 执行以下命令Nginx。 dnf install nginx 执行以下命令启动Nginx服务。 systemctl start nginx 执行以下命令查看Nginx服务状态。 systemctl status nginx

查看更多 →

0是对外服务端口，而8088、8089则为scheduler调度推理服务端口。 USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下，

查看更多 →

0是对外服务端口，而8088、8089则为scheduler调度推理服务端口。 USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下，

查看更多 →

部署预测分析服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中，待训练状态变为“等待输入”，双击“服务部署”节点，完成相关参数配置。

查看更多 →

0是对外服务端口，而8088、8089则为scheduler调度推理服务端口。 USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下，

查看更多 →

配置IEF高可用节点 IEF高可用节点实现该功能要手动操作，使用rsync命令在多台虚机间定时同步文件，操作步骤如下： 以下教程适用于E CS 机器系统为Centos 7.5。操作前需要购买两台同网段同文件系统的ecs节点A与节点B。 在两台虚机上安装rsync及corntab服务，

查看更多 →

配置IEF高可用节点 IEF高可用节点实现该功能要手动操作，使用rsync命令在多台虚机间定时同步文件，操作步骤如下： 以下教程适用于ECS机器系统为Centos 7.5。操作前需要购买两台同网段同文件系统的ecs节点A与节点B。 在两台虚机上安装rsync及corntab服务，

查看更多 →

None 服务介绍 智能边缘平台 IEF 智能边缘平台为企业提供边、云协同的一体化边缘计算解决方案 02:34 智能边缘平台服务介绍 操作指导 智能边缘平台 IEF 使用IEF实现边缘 人脸识别 10:49 使用IEF实现边缘人脸识别 智能边缘平台 IEF 使用IEF实现边缘人脸识别

查看更多 →