准备代码 本教程中用到的训练、推理代码如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911

查看更多 →

# 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。

查看更多 →

zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911 版本。 说明： 如果上述软件获取路径打开

查看更多 →

S中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train # 解压代码包后自动生成的代码目录，无需用户创建 |──

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明

查看更多 →

171ba0b3"。该问题会导致代码安装失败，会在后续版本修复。 代码上传至OBS 将AscendSpeed代码包AscendCloud-3rdLLM-905-xxx.zip在本地解压缩后，将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的vLLM 0.3.2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 AscendCloud-OPP-6.3.905-xxx

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3

查看更多 →

准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6

查看更多 →

准备代码 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明

查看更多 →

zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。 说明： 如果上述软件获取路径打开

查看更多 →

# 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。

查看更多 →

enable_asp_standby 参数说明：设置是否开启ASP支持备机功能。开启该功能后，ASP报告进行采样时，会同步获取备机的采集数据。 参数类型：布尔型 参数单位：无 取值范围： on：开启ASP支持备机功能，ASP获取所有备机上的采集数据。 off：关闭ASP支持备机功能。

查看更多 →

GS_ASP GS_ASP显示被持久化的ACTIVE SESSION PROFILE样本，该表只能在系统库下查询，在用户库下查询无数据。 表1 GS_ASP字段 名称 类型 描述 sampleid bigint 采样ID。 sample_time timestamp with time

查看更多 →

提交代码到代码仓库 开发在本地完成业务代码和IaC脚本后，需要提交代码文件至代码仓库。 前提条件 开发业务代码和编写IaC脚本已完成。 已创建代码仓库。 需要具备开发人员角色权限，权限申请方法请参见申请权限。具体角色权限说明请参考用户角色和权限说明。 操作入口 在开发中心工作台左上角单击，在菜单列表中选择“全部菜单

查看更多 →

服务器 。您可以将业务代码部分制作镜像后部署到CAE，静态文件部分存储到与该组件关联的并行文件系统中，即可实现混合业务和静态文件的前端组件托管。 Gitlab对接Jenkins自动构建并部署到CAE 本章节以Java项目的构建、部署为例，介绍如何完成“完整的代码提交 > Jenkins构建

查看更多 →

取值范围：字符串，‘table’、‘file’、‘all’。 默认值：‘table’ asp_flush_rate 参数说明：当内存中样本个数达到asp_sample_num时，会按一定比例把内存中样本刷新到磁盘上，asp_flush_rate为刷新比例。该参数为10时表示按10：1进行刷新。

查看更多 →

默认值：100000 asp_sample_interval 参数说明：每次采样的间隔。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，1~10(秒)。 默认值：1s asp_flush_rate 参数说明：当内存中样本个数达到asp_sample_

查看更多 →

默认值：100000 asp_sample_interval 参数说明：每次采样的间隔。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，1~10(秒)。 默认值：1s asp_flush_rate 参数说明：当内存中样本个数达到asp_sample_

查看更多 →