中软国际数据治理专业服务解决方案实践

处理非初级SQL数据类型 本节介绍如何处理ecpg应用中非标量以及用户定义的SQL级别的数据类型。注意此处和使用非初级类型的宿主变量章节中介绍的对于非初级类型的宿主变量的处理不同。 数组 ecpg不直接支持多维SQL级别数组。一维SQL数组可以被映射到C语言数组类型的宿主变量，反

查看更多 →

处理非初级SQL数据类型 本节介绍如何处理ecpg应用中非标量以及用户定义的SQL级别的数据类型。注意此处和使用非初级类型的宿主变量章节中介绍的对于非初级类型的宿主变量的处理不同。 数组 ecpg不直接支持多维SQL级别数组。一维SQL数组可以被映射到C语言数组类型的宿主变量，反

查看更多 →

数据上报失败如何处理？ 若设备是使用接口注册的，请确认设备是否因为没在指定的timeout时间内上线而被物联网平台自动删除了。如果设备已被删除，请重新注册设备再尝试上报数据。 请检查使用接口注册设备时，填写的产品信息是否和产品模型一致。 请检查上报的数据名称是否和产品模型定义的服务属性一致。

查看更多 →

管理和查看数据处理任务 登录ModelArts管理控制台，在左侧的导航栏中选择“数据管理>数据处理”，进入“数据处理”页面。 在数据处理列表中，单击数据处理任务名称，进入数据处理任务的版本管理页面。您可以在该页面进行数据处理任务的“修改”与“删除”。 当已有的数据处理任务不再使用时，您可以删除数据处理任务。

查看更多 →

无法正常上报数据怎么办？进行排查。 确定以上都不存在问题时，请检查设备和物联网平台之间的网络链路是否畅通，设备是否正常运行。 如果确认设备上报数据成功，但在设备管理服务的历史数据中无法查看到设备上报的数据，请请确保创建应用时已打开“存储历史数据”开关。 父主题： 数据上报（联通用户专用）

查看更多 →

数据查询请求处理过程 图1 GaussDB 服务响应流程 父主题： 数据库系统概述

查看更多 →

Redis监控数据异常处理方法 当对Redis监控数据存在疑问或异议时，可以使用Redis-cli访问Redis实例，执行info all命令，查看进程记录的指标。info all输出详解可参考：https://redis.io/docs/latest/commands/info/。

查看更多 →

数据查询请求处理过程 图1 GaussDB服务响应流程 父主题： 数据库系统概述

查看更多 →

处理非初级SQL数据类型 本节介绍如何处理ecpg应用中非标量以及用户定义的SQL级别的数据类型。注意此处和使用非初级类型的宿主变量章节中介绍的对于非初级类型的宿主变量的处理不同。 数组 ecpg不直接支持多维SQL级别数组。一维SQL数组可以被映射到C语言数组类型的宿主变量，反

查看更多 →

处理非初级SQL数据类型 本节介绍如何处理ecpg应用中非标量以及用户定义的SQL级别的数据类型。注意此处和使用非初级类型的宿主变量章节中介绍的对于非初级类型的宿主变量的处理不同。 数组 ecpg不直接支持多维SQL级别数组。一维SQL数组可以被映射到C语言数组类型的宿主变量，反

查看更多 →

parquet 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data

查看更多 →

parquet 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data

查看更多 →

数据管理 AI开发过程中经常需要处理海量数据，数据准备与标注耗费整体开发一半以上时间。ModelArts数据管理提供了一套高效便捷的管理和标注数据框架。不仅支持图片、文本、语音、视频等多种数据类型，涵盖图像分类、目标检测、音频分割、文本分类等多个标注场景，可适用于各种AI项目，如

查看更多 →

迁移数据到 DLI 时有数据丢失怎么处理？ 问题描述 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。 原因分析 查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进行修

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，我们可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK 提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，使用训练作业运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data

查看更多 →

为了避免算法推理内部可能出现的内存拷贝，在调用模型管家Process接口时，建议输入数据（输入数据一般可直接使用框架传入的内存，该内存是由框架通过HIAI_DMalloc申请得到）及输出数据都通过HIAI_DMalloc接口申请，这样就能够使能算法推理的零拷贝机制，优化Process时间。如果在推理前需要进行DVPP处理，DVPP的输入内

查看更多 →

使用预置的数据处理工具 创建数据处理任务 管理和查看数据处理任务

查看更多 →

原始视频数据（视频前后处理） 功能描述 音视频传输过程中，我们可以对采集到的音视频数据进行前处理和后处理，获取想要的播放效果。 对于有自行处理音视频数据需求的场景，HWRtcEngine SDK提供原始数据功能，您可以在将数据发送给编码器前进行前处理，对捕捉到的音频信号或视频帧进

查看更多 →