Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序（Java） Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python）

查看更多 →

Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序（Java） Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python）

查看更多 →

Spark从HBase读取数据再写入HBase样例程序 Spark从HBase读取数据再写入HBase样例程序开发思路 Spark从HBase读取数据再写入HBase样例程序（Java） Spark从HBase读取数据再写入HBase样例程序（Scala） Spark从HBase

查看更多 →

6，建议8.4.1版本。 达梦数据库驱动： DM JDBC驱动jar包请从DM安装目录/dmdbms/drivers/jdbc中获取DmJdbcDriver18.jar。 GaussDB 驱动：请在GaussDB官方文档《GaussDB 用户指南》中搜索“JDBC包、驱动类和环境类

查看更多 →

创建子作业“分表作业”，选择 CDM 节点，节点属性中作业类型配置为“创建新作业”，并将步骤2中复制的作业JSON粘贴到“CDM作业消息体”中。 图6 配置CDM作业消息体 编辑“CDM作业消息体”。 由于源表有三个，分别为mail001、mail002、mail003，因此需要将作业JSON中的“fromJobConfig

查看更多 →

典型场景：从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁

查看更多 →

使用Loader从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。

查看更多 →

使用mysqldump从MySQL导出数据非常缓慢的原因 mysqldump客户端的版本和DDM所支持的MySQL版本不一致，可能会导致从MySQL导出数据非常缓慢。 建议版本保持一致。 父主题： DDM使用类

查看更多 →

要用索引过滤大量数据的查询中。 在开启了写时合并选项的Unique表中，数据在导入阶段就会去将被覆盖和被更新的数据进行标记删除，同时将新的数据写入新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出的数据就都是最新的数据，消除了读时合并中的数据聚合过程，并且能够在

查看更多 →

Spark作业访问MySQL数据库的方案 通过 DLI Spark作业访问MySQL数据库中的数据有如下两种方案： 方案1：在DLI中创建队列，队列计费模式为包年/包月队列或按需专属，创建增强型跨源连接，再通过跨源表读取MySQL数据库中的数据，该方案需要用户自行编写java代码或scala代码。

查看更多 →

可以指定任意的从实例，进行主从切换，切换前的主实例会作为从实例重新加入到集群中。 在进行升主之前会将主实例的数据完全同步到其他从实例，不会造成数据丢失。 故障转移 当主实例故障无法恢复时，通常是区域性故障导致，需要进行故障转移。RegionlessDB集群会从所有的从实例中选取数据最新的从实例进行故障转移。

查看更多 →

读取parquet数据 概述 读取parquet格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path parquet数据文件所在的路径 样例 params = { "input_file_path": "" # @param {

查看更多 →

读取模板文件 功能介绍 该接口可以用于模板作者或模板维护人读取模板文件内容。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/templates/{template_id}/files

查看更多 →

典型场景：从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

6，建议8.4.1版本。 达梦数据库驱动： DM JDBC驱动jar包请从DM安装目录/dmdbms/drivers/jdbc中获取DmJdbcDriver18.jar。 GaussDB驱动：请在GaussDB官方文档《GaussDB 用户指南》中搜索“JDBC包、驱动类和环境类

查看更多 →

管理页面。 单击“创建数据库”，在弹出框中设置数据库相关信息，单击“确定”。 图1 创建数据库 表1 参数说明 参数名称 说明 数据库名称 数据库名称在1到64个字符之间，由字母、数字、中划线或下划线组成，不能包含其他特殊字符，且中划线累计出现的次数不能超过10次。 字符集 字符集您可根据业务进行选择。

查看更多 →

写字段的表。 在编辑已创建的组合任务并新增源表时，源表中必须有数据。 组合任务支持的表名最大长度为64，若表名中有中文，则一个中文按3个长度计算。 自动映射会读取源库和目标库中前2000张表的所有字段信息，读取总耗时受数据库性能、表字段数量以及网络速率影响，若总耗时超过了接口超时

查看更多 →

源连接名称：选择创建MySQL连接中的“mysqllink”。 模式或表空间：选择从本地MySQL的哪个数据库导出数据。 目的端作业配置 目的连接名称：选择创建RDS连接中的“rds_link”。 模式或表空间：选择将数据导入到RDS的哪个数据库。 自动创表：选择“不存在时创建”，当RDS数据库中没有本地MySQL数

查看更多 →

配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下： DB2 Oracle 本章节适用于 MRS 3.x及后续版本。

查看更多 →

该文件。 数据库 选择目标数据库。 字符集 支持UTF8、GBK或自动检测。 选项 勾选该选项后，数据导入过程中遇到SQL执行失败的报错会忽略。 忽略报错，即SQL执行失败时跳过 勾选该选项后，在数据导入目标数据库的过程中，如果有SQL执行出错，系统将忽略执行错误，继续往下执行。

查看更多 →

主实例下包含2个以上只读实例时，建议开启数据库代理，获得更好的性价比。 当只读实例与主数据库之间复制异常后，单机版和高可用版只读都需要较长时间重建和恢复（取决于数据量）。 计费标准 只读实例需要额外收费，其计费方式是包年/包月和按需付费。计费详情请参见云数据库RDS产品价格详情中的只读实例部分。 功能特点

查看更多 →