训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。如果未进行数据集预处理，则会自动执行scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 如果已完成数据集预处理，则直接执行预训练任务。如果未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 如果已完成数据集预处理，则直接执行预训练任务。如果未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

解析 LlamaFactoryInstructionHandler是处理数据集的一个基类，继承自BaseDatasetHandler，实现对Llama-Factory格式数据集的处理。 注意：仅支持微调场景，如：sft全参微调，lora微调。已支持的系列模型可查看：文档更新内容。

查看更多 →

解析 LlamaFactoryInstructionHandler是处理数据集的一个基类，继承自BaseDatasetHandler，实现对Llama-Factory格式数据集的处理。 注意：仅支持微调场景，如：sft全参微调，lora微调。已支持的系列模型可查看：文档更新内容。

查看更多 →

迁移数据到 DLI 时有数据丢失怎么处理？ 问题描述 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。 原因分析 查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1

查看更多 →

原始音频数据（音频前后处理） 功能描述 音视频传输过程中，可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进行修

查看更多 →

原始音频数据（音频前后处理） 功能描述 音视频传输过程中，可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进行修

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，我们可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进

查看更多 →

原始音频数据（音频前后处理） 功能描述 音视频传输过程中，我们可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK 提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进行修

查看更多 →

String 返回信息。 状态码： 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 无 响应示例 无 状态码 状态码 描述 200 Success

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，使用训练作业运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：0_pl_pretrain_13b.sh训练脚本后，脚本检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行预训练任务。如果未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。如果未进行数据集预处理，则会自动执行scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。如果未进行数据集预处理，则会自动执行scripts/llama2/1_preprocess_data

查看更多 →

Loader算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述

查看更多 →