数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS）， 数据湖探索 （ DLI ）， MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储： 对象存储服务 （OBS） 关系型数据库：云数据库

查看更多 →

数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS）， 数据湖 探索（DLI），MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库

查看更多 →

对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时接入生成offset，再truncate

查看更多 →

数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库

查看更多 →

通过DLI Flink作业将Kafka数据实时写入( GaussDB )DWS 本实践演示通过数据湖探索服务 DLI Flink作业将分布式消息服务 Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。演示过程包括实时写入和更新已有数据的场景。

查看更多 →

通过DLI Flink作业将Kafka数据实时写入(GaussDB)DWS 本实践演示通过数据湖探索服务 DLI Flink作业将分布式消息服务 Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。演示过程包括实时写入和更新已有数据的场景。

查看更多 →

按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。 HDFS 分布式文件系统，用于离线日志接入原始数据存储。 Hive 可实现大规模分析的分布式容错数据仓库系统，用于离线日志接入处理后的数据存储。 MPPDB Shared

查看更多 →

灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务 （MRS Hive） Hive是一种可以存储、查询和

查看更多 →

按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。 HDFS 分布式文件系统，用于离线日志接入原始数据存储。 Hive 可实现大规模分析的分布式容错数据仓库系统，用于离线日志接入处理后的数据存储。 MPPDB Shared

查看更多 →

ClickHouse与其他组件的关系 ClickHouse安装部署依赖ZooKeeper服务。 ClickHouse通过Flink流计算应用加工生成通用的报表数据（明细宽表），准实时写入到ClickHouse，通过Hive/Spark作业加工生成通用的报表数据（明细宽表），批量导入到ClickHouse。 Cl

查看更多 →

L发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 Hive hive-examples hive-jdbc-example Hive JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Hive，在Hive中执行相关数据操作。使用JDBC接口实现创

查看更多 →

clean触发时偶现文件mv to trash失败，导致.clean为空，影响Flink流读作业的问题。 Hudi支持changelog特性。 Hudi支持temp view特性。 MRS实时任务告警通知支持显示具体作业名称。 Flink读开启changelog后的表。 解决多AZ集群无法缩容的问题。

查看更多 →

维度信息的数据源。常见的用户维表有 MySQL，Redis等。 结果表：Flink作业输出的结果数据表，将每条实时处理完的数据写入的目标存储，如 MySQL，HBase 等数据库。 示例： Flink 实时消费用户订单数据的 Kafka 源表，通过Redis维表将商品ID关联维表

查看更多 →

Flink Flink基本原理 Flink HA方案介绍 Flink与其他组件的关系 Flink开源增强特性 父主题： 组件介绍

查看更多 →

join始终会加入最新版本的时态表。Flink支持分区表和 Hive非分区表的临时连接，对于分区表，Flink 支持自动跟踪Hive表的最新分区。详情可参考：Apache Flink Hive Read & Write 注意事项 Flink目前不支持与Hive表进行基于事件时间event-time的时间关联。

查看更多 →

及作为读写现有Hive元数据的接口。 Flink 的Hive 文档提供了有关设置 HiveCatalog以及访问现有 Hive 元数据的详细信息。详情参考：Apache Flink Hive Catalog HiveCatalog可以用来处理两种类型的表：Hive兼容表和通用表。

查看更多 →

实时诊断 实时会话 父主题： 智能DBA助手

查看更多 →

会中成员开启字幕并发言，可将发言人语音（中文普通话或英文）转为实时字幕并显示，帮助会中成员加深理解会议内容。 发言人实时字幕作为独立窗口显示，可移动至电脑屏幕任意位置。 关闭字幕 单击“关闭字幕”后，则字幕消失。 选择字幕语言 请先“开启字幕”再单击功能按钮 > 选择字幕语言，支持实时翻译发言人语音（中文普通话或

查看更多 →

实时字幕 主持人、与会者在移动端会中可开启/关闭字幕功能，并可选择字幕翻译语言、查看字幕记录，会议观看体验更好。 注意事项 实时字幕功能暂未开放，如需体验请发送邮件至“hcmeeting@huaweicloud.com”或联系华为销售申请开通。 开启字幕后，会中成员在发言时请使用中文普通话或英文，提升字幕准确率。

查看更多 →

实时诊断 性能 会话 状态 接口 事件 空间 锁 WDR 对象统计 父主题： 数据库治理

查看更多 →

实时诊断 您可以通过实时诊断功能直观地查看数据库性能情况的全貌，快速确认是否存在异常。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 单击页面左上角的，选择“数据库 > 数据管理服务 DAS”，进入数据管理服务页面。 在左侧的导航栏中单击“DBA智能运维 >

查看更多 →