中软国际数据治理专业服务解决方案实践

导出Doris数据至HDFS 数据导出（Export）功能可以将用户指定的表或分区的数据，以文本的格式通过Broker进程导出到远端存储上，如HDFS/对象存储（支持S3协议） 等。 不建议一次性导出大量数据。一个Export作业建议的导出数据量最大在几十GB。过大的导出会导致更多的垃圾文件和更高的重试成本。

查看更多 →

手动导出IoTDB数据 操作场景 该任务指导用户使用“export-csv.sh”将数据从IoTDB导出为 CS V格式的文件。 导出CSV格式的数据文件，可能存在注入风险，请谨慎使用。 前提条件 已安装客户端，请参见。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。

查看更多 →

ClickHouse数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 使用ClickHouse客户端导入导出数据 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database

查看更多 →

如何导出企业考勤数据？ 如您是企业管理员，依次进入考勤>统计，在统计页面，点击右上角“导出报表”，选择需要的数据范围及人员，点击“导出到云空间”，便可导出您所需要的考勤数据。 父主题： 考勤

查看更多 →

登录智能数据洞察控制台。 单击“数据源> 新建数据源”，进入新建数据源页面，源库类型选择数据Hive，接入网络类型选择公网。 填写其他参数，参数说明如表1所示。 图1 接入Hive数据源参数 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型，本示例为Hive。更多数据源类型连接请参考表1。

查看更多 →

接入HIVE数据源 概述 ROMA Connect支持把HIVE作为一个数据源，用于创建数据API。在使用HIVE数据源前，您需要先接入数据源。 数据集成中仅支持百万以内数据量。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。

查看更多 →

WebUI”后的链接，进入HSConsole界面。 单击“数据源”，在Hive数据源所在行的“操作”列下单击“编辑”，在页面内新增如下自定义配置： 表1 元数据超时参数 参数名称 默认值 描述 hive.metastore-timeout 10s 共部署Hive数据源加载元数据缓存最大超时时间，单位为秒或分钟

查看更多 →

导出ModelArts数据集中的数据 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 JDBC字符串 Hive数据库的JDBC格式连接串，格式：jdbc:hive2://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

添加Hive数据源 Hive数据源介绍 HetuEngine服务在安装时已经将共部署（与HetuEngine在同一个Hadoop集群）的Hive数据源默认实现对接，数据源名称为“hive”，不可删除。部分默认配置不可修改，如数据源名称，数据源类型，服务端Principal，客户端

查看更多 →

配置Hive源端参数 支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源， CDM 自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD

查看更多 →

询>，弹出导出任务列表，如图 图3 导出任务查询 导出完成的任务可以进行下载，单击下载链接即可将文件保存至本地。正在导出任务状态为等待导出，单击<取消导出>按钮，可以取消导出任务。 图4 取消导出任务 导出的任务单击任务后面的“删除”图标，可以直接删除。 图5 删除导出任务 打开

查看更多 →

快速导入方式仅会导入OBS对象的元数据（名称、大小、最后修改时间），不会导入其它附加元数据（如uid、gid、mode），SFS Turbo会生成默认的附加元数据。 数据预热功能会同时导入元数据和数据内容，数据预热中的元数据导入采用快速导入方式，不会导入其它附加元数据（如uid、gid、mode）。

查看更多 →

导出单个数据库 导出数据库 导出模式 导出表 父主题： 使用gs_dump和gs_dumpall命令导出元数据

查看更多 →

确保用户已授权访问作业执行时操作的目录、HBase表和数据。 获取外部数据源（S FTP服务器 或关系型数据库）使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时，确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录

查看更多 →

开启/关闭实例数据导出 功能介绍 开启/关闭实例数据导出。 当前支持将InfluxDB数据转为parquet格式文件然后上传到指定的OBS桶中。 接口约束 支持GeminiDB InfluxDB性能版数据库实例。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API

查看更多 →

MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的

查看更多 →

导出所有数据库 导出所有数据库 导出全局对象 父主题： 使用gs_dump和gs_dumpall命令导出元数据

查看更多 →

导入导出数据集成任务 概述 数据集成任务创建后，您可以通过导入导出功能，导入或导出数据集成任务。如果数据集成任务关联子任务，在任务导入后需要重新配置子任务信息。 导出数据集成任务 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据集成

查看更多 →