重复文件处理方式：这里选择“跳过重复文件”。只有当源端和目的端存在文件名、文件大小都相同的文件时， CDM 才会判定该文件为重复文件，这时CDM将跳过该文件，不迁移到OBS。 单击“下一步”配置任务参数，迁移存量数据时，参数配置保持默认即可。 单击“保存并运行”，进入作业管理界面，查看作业执行进度和结果。 作业执行成功

查看更多 →

数据集成（实时作业） 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程

查看更多 →

查询实时质量数据 功能介绍 获取实时质量数据的相关指标在某一时间段内每分钟的统计数据。 最大查询跨度1天。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /

查看更多 →

数据集成（实时作业） 问题案例总览 数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中

查看更多 →

数据快递上传 数据快递服务（Data Express Service，DES）是面向TB到数百TB级数据上云的传输服务，它使用物理存储介质（Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等）向华为云传输大量数据。使用DES可解决海量数据传输的难题

查看更多 →

使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式：单包上传大小小于100G。 转换后数据格式：OpenData格式。 使用场景 Octopus平台接收Rosbag格式数

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式：单包上传大小小于100G。 转换后数据格式：OpenData格式。 使用场景 Octopus平台接收Rosbag格式数

查看更多 →

请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限， 获取Token 接口响应消息头中X-Subject-Token的值即为Token。

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速的完成数据收集以及数据格式转换。 上传数据格式：Rosbag包+与数据包同名的yaml文件，单包上传大小小于100G。 转换后数据格式：OpenData格式（内必含O

查看更多 →

RC和CARBONDATA格式的数据源文件。 如果用户数据无法以 CS V格式保存，可以选择以文本类型保存为其他任意格式后缀的文件。 根据导入数据原理，当数据源文件的数据量较大时，将数据文件存储到OBS前，尽可能均匀地将文件切分成多个，文件数量为DataNode的整数倍时，导入性能更好。

查看更多 →

该解决方案介绍将ELB日志接入LTS后，配置日志结构化后，即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该解决方案介绍当ELB日志接入云日志服务后，您可以通过SQL语句查询分析日志，将日志结果保存为多种图表，并将图表保存至仪表盘，从而使用仪表盘实时分析ELB日志数据。您可以参考如下内容，进行具体的操作配置。

查看更多 →

存可以有效提高HBase性能。GC_OPTS主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候，建议将Xms和Xmx设置成相同的值，这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSize大小的时候，建议把其设置为HeapSize大小的1/8。

查看更多 →

以有效提高HBase性能。“GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候，建议将Xms和Xmx设置成相同的值，这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSize大小的时候，建议把其设置为HeapSize大小的1/8。

查看更多 →

节。 表1 影响实时读数据配置项 配置参数 描述 默认值 GC_OPTS HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 GC_OPTS主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候，建议将Xms和Xmx设

查看更多 →

“GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候，建议将“Xms”和“Xmx”设置成相同的值，这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSize大小的时候，建议把其设置为HeapSize大小的1/8。 HMaster：当HBa

查看更多 →

上传缓冲区数据 UploadBuffer() 上传一个buffer到OBS，此方法会阻塞线程，直至上传结束。目标OBS桶可在华为HiLens控制台上进行配置，详情请参见配置数据存储位置。 接口调用 HiLensEC hilens::UploadBuffer(const std::string

查看更多 →

上传结构化数据 功能介绍 将结构化数据文件上传到 对象存储服务 OBS中进行结构化数据批处理功能。 URI POST /v1/koosearch/repos/{repo_id}/structured-data 表1 路径参数 参数 是否必选 参数类型 描述 repo_id 是 String

查看更多 →

通过API创建桶 上传对象 桶创建成功后，您可以通过以下多种方式将文件上传至桶，OBS最终将这些文件以对象的形式存储在桶中。 表2 不同访问方式上传对象的方法 访问方式 上传对象方法 控制台 通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil

查看更多 →

上传缓冲区数据 上传一个buffer到OBS，此方法会阻塞线程，直至上传结束。上传的根目录（目标OBS桶的位置）是用户在华为HiLens控制台上针对每个设备配置的（参见配置数据存储位置），如果用户没有给设备配置这个信息，那么上传文件会失败。 接口调用 hilens.upload_bufer(key

查看更多 →

如何上传数据至OBS 使用RES进行推荐时，您需要将数据上传至对象存储服务（OBS）桶中。您可以登录OBS管理控制台创建OBS桶，并在您创建的OBS桶中创建文件夹，然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时，需保证您的OBS桶与RES在同一个区域。

查看更多 →