部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。

查看更多 →

HCIA、HCIP、HCIE职业认证在线课程学习路径； 计算、存储、网络、安全、管理与部署、应用服务、数据库、迁移、软件开发服务、EI企业智能等云服务产品的基础培训课程； 大数据、架构设计、华为云入门、Python、Java等通用类课程。 父主题： 线上培训课程

查看更多 →

如何申请线上合同 顾问销售类子客户可以参见这里直接在官网申请合同。 代售类子客户无法直接申请线上合同，需要联系您关联的合作伙伴进行申请。单击这里查看您关联的合作伙伴。 父主题： 经销商子客户

查看更多 →

应用启停 企业的管理员可以启动或停用应用，同时给组织的部门、成员、群组进行应用授权和取消授权操作。 操作方式 登录华为云云商店首页，进入买家中心“联营服务>应用管理”页面；找到对应的应用，点击“启用停用状态”列开关按钮即可启用、停用服务。启用后有权限的用户可以正常使用应用服务。 若

查看更多 →

License类商品线上授权码服务监管 服务监管总体流程 2024年9月14日前下单的服务监管流程： 2024年9月14日后下单的服务监管流程： 2023年4月28日后购买的联营商品订单中，赋能云场景仍需“华为云复核”，非赋能云场景则不再需要“华为云复核”。 注：赋能云场景指使用了赋能云政府现金券补贴的场景。

查看更多 →

载训练得到的模型。 在本地环境进行离线部署。 具体请参见模型调试章节在本地导入模型，参见服务调试章节，将模型离线部署在本地并使用。 父主题： 功能咨询

查看更多 →

应用启停 组织的管理员可以启动或停用应用，同时给组织的部门、成员、群组进行应用授权和取消授权操作。 操作方式 登录华为云云商店首页，进入买家中心“联营服务-应用授权”页面；找到对应的应用，单击“启动”按钮即启动服务，有权限的用户可以正常使用应用服务。 如果已启用的应用需要停用，进

查看更多 →

启停设备 功能介绍 该API用于启用停用设备。被停用的设备将无法连接到云端服务，重新启用设备恢复连接。 URI POST /v3/{project_id}/ai-mgr/nodes/{node_id}/action/{action} 表1 路径参数 参数 是否必选 参数类型 描述

查看更多 →

已确认网关无读/写操作，需启停网关。 网关异常，无法进行读/写操作。 操作步骤 登录 CS G管理控制台。 在网关列表选择网关，单击“停止”或“ 重启”，对网关信息进行启停管理。 或单击待操作网关，进入网关详情页面，单击“停止”或“ 重启”，也可对网关信息进行启停管理。 确认启停网关提示信息，单

查看更多 →

如何访问线上培训课程 您可以访问华为云开发者学堂，选择学习路径或在线课程页面，进入课程列表选择自己需要的课程进行报名学习。 您可以登录我的开发者学堂-我的课程页面，继续学习已报名的课程。 父主题： 线上培训课程

查看更多 →

部署跟踪服务 图1 部署跟踪服务 计算资源配置 按需配置，推荐内存8G以上，加速卡缺省1个（暂时无法精确到小数） 图2 计算资源配置 环境变量配置 新版本不需要配置DETECTION_3D_ENDPOINT，可自动从HiLens配置的环境变量中获取 表1 环境变量配置 环境变量名称

查看更多 →

部署物体定位服务 图1 部署物体定位服务 计算资源配置 按需配置，推荐内存4G以上，加速卡缺省1个（暂时无法精确到小数） 图2 部署物体定位服务 环境变量配置 图3 部署物体定位服务 表1 环境变量配置 名称 示例 描述 MODELS_CONFIG {"models":{"0":

查看更多 →

部署分支安全服务 安全分支场景下，当分支网络建设完成后，可以叠加使用一系列安全服务。本场景支持的安全服务有：边界防护与响应服务、智能终端安全服务、威胁信息服务和云日志审计服务。请根据自身实际诉求，按需部署安全服务，具体参见表1。 表1 安全服务的部署步骤 部署的服务 部署步骤 步骤描述

查看更多 →

i服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不同实例部署在一台机器上，不同实例需要使用不同端口号 --model：HuggingFace下载的官方权重

查看更多 →

i服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不同实例部署在一台机器上，不同实例需要使用不同端口号 --model：HuggingFace下载的官方权重

查看更多 →

部署预测分析服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中，待训练状态变为“等待输入”，双击“服务部署”节点，完成相关参数配置。

查看更多 →

。 图1 服务部署流程 操作步骤 查找服务。 登录OSC控制台，可以使用服务目录页面顶部的搜索框，按照服务名称查询所需的服务。 如果不确定服务名，在服务目录页面单击“更多服务”，按照服务类型、应用场景等条件来筛选。OSC提供以下筛选条件，帮助用户快速获取所需服务。 表1 筛选条件

查看更多 →

。 部署算法服务 华为自研的边缘算法、非华为自研的云上、边缘算法在使用前均需进行部署，当算法的部署状态为“运行中”时，才能下任务进行使用。 进入“算法服务”，单击目标算法服务“操作”列的“部署”，进入“部署算法”页面。 参考表1填写相关参数。 表1 部署算法参数说明 参数名称 参数说明

查看更多 →

安全组入方向已放开80、8001、8002端口。 操作步骤 安装Nginx服务。 执行以下命令Nginx。 dnf install nginx 执行以下命令启动Nginx服务。 systemctl start nginx 执行以下命令查看Nginx服务状态。 systemctl status nginx

查看更多 →

i服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不同实例部署在一台机器上，不同实例需要使用不同端口号 --model：HuggingFace下载的官方权重

查看更多 →

i服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不同实例部署在一台机器上，不同实例需要使用不同端口号 --model：HuggingFace下载的官方权重

查看更多 →