型，并在训练数据中进行标注。 三元组是 知识图谱 构建的基本元组，三元组借鉴了语言学中主谓宾结构，语言学中一句话由主语（subject）、谓语（predicate）、宾语（object）组成，自然语言中的知识也可以建模为三个元素构成的组合格式，如“中国的首都是北京”这句话中，就有“中国-首都-北京”这样的三元组。

查看更多 →

--tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size：${PP}流水线并行数，需要与训练脚本中的PP值配置一样。 --load-dir：加载转换模型权重路径。 --save-dir

查看更多 →

--tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size：${PP}流水线并行数，需要与训练脚本中的PP值配置一样。 --load-dir：加载转换模型权重路径。 --save-dir

查看更多 →

大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。

查看更多 →

句子、敏感词训练接口 (SemanticKeywordTraining) 取得正在训练的模组 训练模组 父主题： 智能质检

查看更多 →

训练过程读取数据 在ModelArts上训练模型，输入输出数据如何配置？ 如何提升训练效率，同时减少与OBS的交互？ 大量数据文件，训练过程中读取数据效率低？ 使用Moxing时如何定义路径变量？ 父主题： 训练作业

查看更多 →

a/pretrain 将获取到的Alpaca预训练数据集传到上一步创建的目录中。如还未下载数据集，请参考准备数据获取。 进入“/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/”目录，在代码目录中执行preprocess_data

查看更多 →

retrain/目录下生成alpaca_text_document.bin和alpaca_text_document.idx文件。 图1 处理后的数据 自定义数据 如果是用户自己准备的数据集，可以使用Ascendspeed代码仓中的转换工具将json格式数据集转换为训练中使用的.idx

查看更多 →

a/pretrain 将获取到的Alpaca预训练数据集传到上一步创建的目录中。如还未下载数据集，请参考准备数据获取。 进入“/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/”目录，在代码目录中执行preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中，脚本具体内容如下。

查看更多 →

训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤

查看更多 →

获取训练作业支持的AI预置框架 功能介绍 获取训练作业支持的AI预置框架。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/

查看更多 →

训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤

查看更多 →

动。这时就可以在IE浏览器里键入http://localhost:7001/console ，进入Weblogic控制台，输入您的管理员名和密码，即可进行控制台管理。 父主题： Weblogic上部署睿码平台

查看更多 →

动。这时就可以在IE浏览器里键入http://localhost:7001/console ，进入Weblogic控制台，输入您的管理员名和密码，即可进行控制台管理。 父主题： Weblogic中部署ABI

查看更多 →

览器里键入http://localhost:7001/console ，进入Weblogic控制台，输入您的管理员名和密码，即可进行控制台管理。 父主题： Weblogic上部署数据治理平台

查看更多 →

EHS视频中如何使用AI模板 如何配置EHS视频模板？ 如何开启EHS视频任务? 父主题： AI功能设置

查看更多 →

w批量训练和推理的效率。 实现典型分布式AI训练任务 下面将展示如何基于Kubeflow和Volcano，并使用MNIST数据集轻松的完成数字图像分类模型的分布式训练。 登录CCE控制台，单击集群名称进入一个集群。 在CCE集群上部署Volcano环境。 单击左侧栏目树中的“插件

查看更多 →

预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

示例： #第一台节点 sh scripts/llama2/0_pl_lora_70b.sh xx.xx.xx.xx 8 0 # 第二台节点 sh scripts/llama2/0_pl_lora_70b.sh xx.xx.xx.xx 8 1 # 第三台节点 sh

查看更多 →