parquet 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data

查看更多 →

parquet 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data

查看更多 →

云日志服务快应用SDK 云日志服务快应用SDK提供了快应用上报日志的一系列方法，如果您需要收集和分析用户在网站上的信息，例如用户的浏览器、浏览行为记录、购买行为记录、终端设备记录、设备异常记录、网络使用记录等，可以直接使用快应用SDK上报日志到LTS。 传输协议 HTTPS 使用前提

查看更多 →

适用场景 四层协议 TCP 基于源地址的会话保持。 数据传输快。 适用于注重可靠性，对数据准确性要求高的场景，如文件传输、发送或接收邮件、远程登录。 对性能和并发规模有要求的Web应用。 四层协议 UDP 可靠性相对低 数据传输快 适用于关注实时性而相对不注重可靠性的场景，如视频聊天、游戏、金融实时行情推送。

查看更多 →

更新 云服务器 元数据 功能介绍 更新云 服务器 元数据。 如果元数据中没有待更新字段，则自动添加该字段。 如果元数据中已存在待更新字段，则直接更新字段值。 如果元数据中的字段不在请求参数中，则保持不变 如果元数据中包含了敏感数据，您应当采取适当的措施来保护敏感数据，比如限制访问范围、加密等。

查看更多 →

更新云服务器元数据 功能介绍 更新云服务器元数据。 如果元数据中没有待更新字段，则自动添加该字段。 如果元数据中已存在待更新字段，则直接更新字段值。 如果元数据中的字段不在请求参数中，则保持不变。 接口约束 云服务器状态（云服务器的OS-EXT-STS:vm_state属性）必须

查看更多 →

设置云服务器元数据 功能介绍 设置弹性云服务器的元数据信息。 将删除目前弹性云服务器的所有元数据信息，并更新为请求参数中的值。 接口约束 弹性云服务器状态（弹性云服务器的OS-EXT-STS:vm_state属性）必须是active，stopped，paused或者suspended。

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进行修

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，我们可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK 提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，使用训练作业运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

迁移数据到 DLI 时有数据丢失怎么处理？ 问题描述 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。 原因分析 查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1

查看更多 →

原始音频数据（音频前后处理） 功能描述 音视频传输过程中，可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进行修

查看更多 →

原始音频数据（音频前后处理） 功能描述 音视频传输过程中，可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进行修

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，我们可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进

查看更多 →

原始音频数据（音频前后处理） 功能描述 音视频传输过程中，我们可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK 提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进行修

查看更多 →

Loader算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，使用训练作业运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →