# 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。

查看更多 →

S中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train # 解压代码包后自动生成的代码目录，无需用户创建 |──

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明

查看更多 →

171ba0b3"。该问题会导致代码安装失败，会在后续版本修复。 代码上传至OBS 将AscendSpeed代码包AscendCloud-3rdLLM-905-xxx.zip在本地解压缩后，将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的vLLM 0.3.2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 AscendCloud-OPP-6.3.905-xxx

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3

查看更多 →

准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6

查看更多 →

准备代码 本教程中用到的训练、推理代码如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6

查看更多 →

负载均衡（LoadBalancer） 创建负载均衡类型的服务 健康检查使用UDP协议的安全组规则说明 父主题： 服务（Service）

查看更多 →

负载均衡器 创建负载均衡器 查询负载均衡列表 查询负载均衡详情 查询负载均衡状态树 更新负载均衡器 删除负载均衡器 父主题： API（V2）

查看更多 →

负载均衡器 权限 对应API接口 授权项（Action） IAM项目（Project） 企业项目（Enterprise Project） 创建ELB POST /v2/{project_id}/elb/loadbalancers elb:loadbalancers:create √

查看更多 →

删除负载均衡标签 功能介绍 删除负载均衡器的某个key对应的标签。 接口约束 无。 URI DELETE /v2.0/{project_id}/loadbalancers/{loadbalancer_id}/tags/{key} 表1 参数说明 参数 是否必选 参数类型 描述 project_id

查看更多 →

负载均衡器 创建负载均衡器 批量创建负载均衡器 升级负载均衡器类型 查询负载均衡器列表 复制已有负载均衡器 查询负载均衡器详情 更新负载均衡器 变更负载均衡器计费模式 删除负载均衡器 级联删除负载均衡器 级联删除负载均衡器及关联EIP 查询负载均衡器状态树 新增负载均衡器可用区 移除负载均衡器可用区

查看更多 →

服务端口：容器端口映射到负载均衡实例的端口，通过负载均衡对外暴露服务时使用，端口范围为1-65535，可任意指定。 容器端口：容器镜像中应用程序实际监听的端口，需用户确定。例如：nginx程序实际监听的端口为80。 部署集群：选择负载均衡部署的集群，并完成负载均衡的差异化设置。 图2

查看更多 →

负载均衡（LoadBalancer） 创建负载均衡类型的服务 使用Annotation配置负载均衡类型的服务 为负载均衡类型的Service配置HTTP/HTTPS协议 为负载均衡类型的Service配置 服务器 名称指示（SNI） 为负载均衡类型的Service配置跨集群的后端 为

查看更多 →

创建Flexus负载均衡。 添加监听器 创建Flexus负载均衡后，需要为负载均衡器配置监听器。监听器负责监听负载均衡器上的请求，根据配置流量分配策略，分发流量到后端 L实例 处理。 添加并解析 域名 创建Flexus负载均衡后，请将域名添加并解析到Flexus负载均衡的公网IP地址上，这样可以更加方便地访问互联网。

查看更多 →

最新动态（html） 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。

查看更多 →

/v3/{project_id}/elb/pools elb:pools:create - DELETE /v3/{project_id}/elb/pools/{pool_id} elb:pools:delete - GET /v3/{project_id}/elb/pools elb:pools:list

查看更多 →

ELB负载均衡配置 配置后端对应服务器，将ecology主从服务器添加进去 图1 ELB负载均衡配置1 配置监听，例如80端口，后端 服务器端口 也选择80 图2 ELB负载均衡配置2 访问ELB公网IP地址验证结果 在浏览器中访问 http://Elb_Ip:Port 父主题： 搭建ecology运行环境

查看更多 →

负载均衡器 独享型负载均衡器概述 购买独享型负载均衡器 配置独享型负载均衡器的修改保护 变更独享型负载均衡器的基础配置 变更独享型负载均衡器的网络配置 导出独享型负载均衡器 释放独享型负载均衡器 复制独享型负载均衡器 启停独享型负载均衡器 父主题： 独享型用户指南

查看更多 →

负载均衡器 共享型负载均衡器概述 购买共享型负载均衡器 配置共享型负载均衡器的修改保护 变更共享型负载均衡器的网络配置 导出共享型负载均衡器 删除共享型负载均衡器 启停共享型负载均衡器 共享型负载均衡开启性能保障模式 父主题： 共享型用户指南

查看更多 →