准备代码 本教程中用到的训练、推理代码如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6

查看更多 →

准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6

查看更多 →

准备代码 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明

查看更多 →

准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6

查看更多 →

准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限

查看更多 →

# 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。

查看更多 →

S中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train # 解压代码包后自动生成的代码目录，无需用户创建 |──

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明

查看更多 →

171ba0b3"。该问题会导致代码安装失败，会在后续版本修复。 代码上传至OBS 将AscendSpeed代码包AscendCloud-3rdLLM-905-xxx.zip在本地解压缩后，将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的vLLM 0.3.2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 AscendCloud-OPP-6.3.905-xxx

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3

查看更多 →

Code代码 Code代码也被称为函数连接器，仅包含“运行动作”一个执行动作。 连接参数 Code代码连接器无需认证，无连接参数。 运行动作 输入参数 用户配置运行动作执行动作，相关参数说明如表1所示。 表1 运行动作属性配置输入参数说明 参数 必须 说明 函数名称 是 选择下拉

查看更多 →

提交代码到代码仓库 开发在本地完成业务代码和IaC脚本后，需要提交代码文件至代码仓库。 前提条件 开发业务代码和编写IaC脚本已完成。 已创建代码仓库。 需要具备开发人员角色权限，权限申请方法请参见申请权限。具体角色权限说明请参考用户角色和权限说明。 操作入口 在开发中心工作台左上角单击，在菜单列表中选择“全部菜单

查看更多 →

默认值：100000 asp_sample_interval 参数说明：每次采样的间隔。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，1~10(秒)。 默认值：1s asp_flush_rate 参数说明：当内存中样本个数达到asp_sample_

查看更多 →

API统计信息查询-最近一段时间 功能介绍 根据API的id和最近的一段时间查询API被调用的次数，统计周期为1分钟。查询范围一小时以内，一分钟一个样本，其样本值为一分钟内的累计值。 为了安全起见，在 服务器 上使用curl命令调用接口查询信息后，需要清理历史操作记录，包括但不限于“~/

查看更多 →

在“注释”命令的展开菜单中，选择“切换行注释”打开某一行代码的注释，选择“切换块注释”打开某一块代码的注释，选择“添加行注释”增加一行注释，选择“删除行注释”删除一行注释。 在“编辑”下拉菜单中选择“折叠”，可以展开或折叠代码，如图11所示。 图11 展开或折叠代码 代码可以全部展开或折叠，按层级折叠请选择“Fold

查看更多 →

取值范围：字符串，‘table’、‘file’、‘all’。 默认值：‘table’ asp_flush_rate 参数说明：当内存中样本个数达到asp_sample_num时，会按一定比例把内存中样本刷新到磁盘上，asp_flush_rate为刷新比例。该参数为10时表示按10：1进行刷新。

查看更多 →

默认值：100000 asp_sample_interval 参数说明：每次采样的间隔。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，1~10(秒)。 默认值：1s asp_flush_rate 参数说明：当内存中样本个数达到asp_sample_

查看更多 →

服务器。您可以将业务代码部分制作镜像后部署到CAE，静态文件部分存储到与该组件关联的并行文件系统中，即可实现混合业务和静态文件的前端组件托管。 Gitlab对接Jenkins自动构建并部署到CAE 本章节以Java项目的构建、部署为例，介绍如何完成“完整的代码提交 > Jenkins构建

查看更多 →