读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。 不支持外键级联操作。当外键是普通索引的时候，可能会导致表结构创建失败，建议改成唯一索引。 不支持强制清理binlog，否则会导致同步任务失败。 源数据库不支持reset

查看更多 →

sql语句最大采集字节数 表2 Mysql数据库指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 数据库连接（connection，以数据库为维度统计sql调用详情。） db 数据库 数据库名称 - ENUM LAST createdCount 创建连接数 该数据库创建连接数

查看更多 →

，以备后用。本示例将会生成到：“D:\ DLI Test\SparkJarMetadata\target”下名为“SparkJarMetadata-1.0-SNAPSHOT.jar”。 图10 导出jar包 步骤6：上传Jar包到OBS和DLI下 Spark 3.3及以上版本： 仅支

查看更多 →

HetuEngine Hive对接外置自建关系型数据库 MRS Hive对接外部LDAP配置说明 使用Kafka Eagle对接MRS Kafka 使用Jupyter Notebook对接MRS Spark 集群管理类 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩

查看更多 →

文件备份操作流程 文件备份操作流程如图1所示。 图1 文件备份操作流程 创建混合云备份存储库： 创建用于存放文件备份的存储库。在安装文件备份客户端前需要先完成存储库的创建。 下载并安装客户端： 进行文件备份前需要先在目标 服务器 上下载和安装客户端。安装完成后，云备份系统会自动发现已

查看更多 →

string 查询的链上文件名。 startTime string 查询记录的起始时间（秒时间戳）。 endTime string 查询记录的结束时间（秒时间戳） 返回值 类型 说明 []*StorageEvent 文件操作记录列表，每条操作记录包含操作者、操作类型、时间数据。 error

查看更多 →

string 查询的链上文件名。 startTime string 查询记录的起始时间（秒时间戳）。 endTime string 查询记录的结束时间（秒时间戳） 返回值 类型 说明 []*StorageEvent 文件操作记录列表，每条操作记录包含操作者、操作类型、时间数据。 error

查看更多 →

上传文件到OBS CodeArts Build支持将构建产物上传至OBS中，您可以根据实际情况选择使用该构建步骤。 对象存储服务 （OBS）的使用限制请参考约束与限制。 上传文件到OBS前的准备工作 如果需要将文件上传到其他用户的OBS中，需新建IAM账户服务扩展点。 图形化构建

查看更多 →

在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《 数据湖探索 用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3

查看更多 →

MySQL到MySQL双主灾备 支持的源和目标数据库 表1 支持的数据库 业务数据库 灾备数据库 本地自建MySQL数据库 E CS 自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL RDS for MySQL 目前仅支持白名单用户使用。 数据库账号权限要求

查看更多 →

MySQL到MySQL单主灾备 支持的源和目标数据库 表1 支持的数据库 灾备关系 业务数据库 灾备数据库 本云为备 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL RDS for MySQL 本云为主 RDS for MySQL

查看更多 →

创建源端RDS数据库的连接。 登录 CDM 控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 首次创建RDS MySQL数据库连接时需要上传MySQL的驱动，单击“连接管理 > 驱动管理”，进入驱动管理界面。 参考CDM管理驱动下载MySQL的驱动包到本地，将下

查看更多 →

pic时会失败。 同步到kafka partition策略 同步到kafka partition策略。 按库名+表名的hash值投递到不同Partition：适用于单表的查询场景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐使用此选项。 全部投递到Partition 0

查看更多 →

配置Spark读写Doris数据 Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表

查看更多 →

将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理

查看更多 →

ert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

SQL作业从Kafka读取数据写入到DWS的开发示例。 从Kafka读取数据写入到Elasticsearch 介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到Elasticsearch的开发示例。 从MySQL CDC源表读取数据写入到DWS 介绍使用Flink

查看更多 →