中软国际数据治理专业服务解决方案实践

Hudi写操作 批量写入Hudi表 流式写入Hudi表 将Hudi表数据同步到Hive 父主题： 使用Hudi

查看更多 →

逻辑解码 逻辑解码概述 逻辑解码选项 使用SQL函数接口进行逻辑解码 使用流式解码实现数据逻辑复制 逻辑解码支持DDL 逻辑解码支持指定位点解码 逻辑解码数据找回功能 父主题： 逻辑复制

查看更多 →

Kafka集群节点内多磁盘数据量占用高 用户问题 Kafka流式集群节点内有多块磁盘的使用量很高。当达到100%时就会造成kafka不可用如何处理？ 问题现象 客户购买的 MRS Kafka流式集群节点内有多块磁盘，由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。

查看更多 →

时性、准确性、规范性及企业自定义等数据质量指标集成多个质量规则，对指定的单张表进行质量检查。 图5 单表质量检测 流式数据质量检测 针对 Kafka 等流式实时数据的质量稽核，还内置数据延迟和数据断流等规则进行支持。 图6 单表质量检测 多表对比分析 支持针对 Hive、Kudu

查看更多 →

LITE集群开启备机读功能，需要设置该参数为ON。 设置不当的风险与影响：关闭后，影响灾备集群和GTM LITE集群备机读数据一致性。 stream_cluster_run_mode 参数说明：流式容灾双集群容灾场景，标识CN/DN节点属于主集群还是备集群。 参数类型：枚举类型 参数单位：无 取值范围：

查看更多 →

发帖求助。 在OBS中，用户操作的基本数据单元是对象。OBS Java SDK提供了丰富的对象上传接口，可以通过以下方式上传对象： 流式上传 文件上传 分段上传 追加上传 断点续传上传 基于表单上传 SDK支持上传0KB~5GB的对象。流式上传、文件上传和追加上传的内容大小不能超

查看更多 →

下载对象 下载对象简介 流式下载 范围下载 限定条件下载 重写响应头 获取自定义元数据 下载归档存储对象 断点续传下载

查看更多 →

Hudi写操作 批量写入Hudi表 流式写入Hudi表 将Hudi表数据同步到Hive 父主题： 使用Hudi

查看更多 →

逻辑解码 逻辑解码概述 逻辑解码选项 使用SQL函数接口进行逻辑解码 使用流式解码实现数据逻辑复制 逻辑解码支持DDL 逻辑解码数据找回功能 父主题： 逻辑复制

查看更多 →

逻辑解码 逻辑解码概述 逻辑解码选项 使用SQL函数接口进行逻辑解码 使用流式解码实现数据逻辑复制 父主题： 逻辑复制

查看更多 →

典型应用开发示例 不同场景下配置连接参数 创建和调用存储过程 获取函数返回值 批量查询 使用流式读功能 应用层SQL重试 通过本地文件导入导出数据 从MY迁移数据 逻辑复制 监控数据库连接 父主题： 基于JDBC开发

查看更多 →

上传对象到指定桶中。在OBS中，用户操作的基本数据单元是对象。OBS Python SDK提供了丰富的对象上传接口，可以通过以下方式上传对象： 文本上传：使用字符串作为对象的数据源。 流式上传：使用包含“read”属性的可读对象作为对象的数据源。 文件上传：使用本地文件作为对象的数据源。 分段上传：对于较大文件上传，可以切分成段上传。

查看更多 →

下载对象 对象下载简介 流式下载 范围下载 获取下载进度 限定条件下载 重写响应头 获取自定义元数据 下载归档存储对象 断点续传下载 图片处理

查看更多 →

双数据库实例容灾查询函数 gs_get_local_barrier_status() 描述：两地三中心跨Region容灾特性开启后，主数据库实例和灾备数据库实例进行日志同步，通过barrier日志在主数据库实例的落盘，在灾备数据库实例的回放来确定主数据库实例归档日志进度与灾备数据库

查看更多 →

逻辑解码 逻辑解码概述 逻辑解码选项 使用SQL函数接口进行逻辑解码 使用流式解码实现数据逻辑复制 父主题： 逻辑复制

查看更多 →

游标，然后分段处理，所以会加大数据库与客户端的通信量，但会有性能损耗。 由于数据库游标是事务内有效，所以，在设置setFetchSize的同时，需要将连接设置为非自动提交模式，setAutoCommit(false)。同时在业务数据需要持久化到数据库中时，在连接上执行提交操作。

查看更多 →

参数说明：设置双数据库实例中备数据库实例的各个实例为只读模式，仅sysadmin用户可以访问。 该参数属于POSTMASTER类型参数，请参考表1中对应设置方法进行设置。 取值范围：布尔型 on表示备数据库实例开启只读模式。 off表示备数据库实例关闭只读模式。此情况下，备数据库实例可读可写。

查看更多 →

用方法。 在OBS中，用户操作的基本数据单元是对象。OBS Android SDK提供了丰富的对象上传接口，可以通过以下方式上传对象： 流式上传 文件上传 分段上传 追加上传 断点续传上传 基于表单上传 SDK支持上传0KB~5GB的对象。流式上传、文件上传和追加上传的内容大小不

查看更多 →

，或者在华为云 对象存储服务 论坛中发帖求助。 在OBS中，用户操作的基本数据单元是对象。OBS Node.js SDK提供了丰富的对象上传接口，可以通过以下方式上传对象： 文本上传(Node.js SDK) 流式上传(Node.js SDK) 文件上传(Node.js SDK) 初始化多段上传任务(Node

查看更多 →

SELECT 子句中定义多个 OVER 窗口聚合。然而，对于流式查询，由于目前的限制，所有聚合的 OVER 窗口必须是相同的。 OVER 窗口需要数据是有序的。因为表没有固定的排序，所以 ORDER BY 子句是强制的。对于流式查询，Flink 目前只支持 OVER 窗口定义在升序（

查看更多 →

Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Guardian 流式集群包含的组件有：Kafka,Flume,ZooKeeper,Ranger 混合集群包含的组件有：Hadoop,Spark2x,HBase

查看更多 →