Kafka数据 当需要在两个Kafka集群间作数据同步，或者将原有Kafka集群上的数据搬迁到新的Kafka集群上时就需要用到Kafka数据同步的利器——MirrorMaker。MirrorMaker是Kafka内嵌的一个工具，其内部实际上是集成了Kafka的Consumer和P

查看更多 →

上传至OBS桶中的业务数据写入Kafka，同时在RDS创建数据结果表模板。 用户可以购买并配置数据可视化 DLV大屏，快速定制数据大屏，将RDS中分析结果数据展示在大屏中。 方案优势 跨源分析 数据免搬迁，就可以关联分析存在OBS中的各个渠道的销售汇总数据。 纯SQL操作 DLI

查看更多 →

由Astro大屏应用读取数据进行可视化展示实现各个地区发电量的统计分析。 整体流程 1、创建MQTT协议产品，并创建设备。 2、创建流转规则，将数据流转至kafka。 3、配置DLI以及DWS，将kafka中的数据进行清洗并转发至DWS。 4、配置Astro大屏应用，读取DWS数据进行展示。

查看更多 →

华为云数据治理平台 数据治理总体架构 数据治理中心 DataArtsStudio https://support.huaweicloud.com/dataartsstudio/index.html 数据湖探索 DLI https://support.huaweicloud.com/dli/index

查看更多 →

在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 通过以下任意一种方法，查看监控数据。 在Kafka实例名称后，单击“查看监控数据”。跳转到云监控页面，查看实例、节点、主题和消费组的监控数据，数据更新周期为1分钟。 单击Kafka实例名称，进入

查看更多 →

数据转发至Kafka储存 场景说明 对于设备上报的数据，可以选择让平台将设备上报数据推送给应用服务器，由应用服务器进行保存；还可以选择让平台将设备上报数据转发给分布式消息服务（Kafka），由Kafka进行存储。 本示例为将所有设备上报的数据转发至Kafka存储。 购买Kafka实例

查看更多 →

Kafka数据管理 Kafka数据管理，以Topic为维度，申请Topic用来管理数据。 前提条件 已获取服务运维岗位权限，权限申请操作请参见申请权限。 申请Topic 进入运维中心工作台。 在顶部导航栏选择自有服务。 单击，选择“运维 > 监控服务（ServiceInsight）”。

查看更多 →

步骤请参见配置Kafka间的数据复制。 在Kafka控制台的“消息查询”页面，查看两个Kafka的最新消息是否一致，确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。 是，执行3。 否，在监控页面查看两个Kafka的“Kafka每分钟同步数据量”是否正常，如

查看更多 →

恢复Kafka元数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。

查看更多 →

如何重置Kafka数据？ 删除Kafka topic信息即重置Kafka数据，具体命令请参考： 删除topic：kafka-topics.sh --delete --zookeeper ZooKeeper集群业务IP:2181/kafka --topic topicname 查询

查看更多 →

Kafka数据管理 Kafka数据管理，以Topic为维度，申请Topic用来管理数据。 前提条件 已获取服务运维岗位权限，权限申请操作请参见申请权限。 申请Topic 进入运维中心工作台。 在顶部导航栏选择自有服务。 单击，选择“运维 > 监控服务（ServiceInsight）”。

查看更多 →

备份Kafka元数据 操作场景 为了确保Kafka元数据安全，或者系统管理员需要对ZooKeeper进行重大操作（如升级或迁移等）时，需要对Kafka元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight

查看更多 →

应用服务器可调用此接口向物联网平台订阅设备相关的管理数据，当设备进行版本升级等相关操作时，平台会向应用服务器发送通知消息，知会其具体的操作状态或操作结果信息。Status Code: 200 OK订阅推送

查看更多 →

第三方应用可向物联网平台订阅设备相关的管理数据，当物联网平台中设备进行版本升级等相关操作时，平台会向第三方应用发送通知消息，知会其具体的操作状态或操作结果信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备升级操作通知。支持第三方应用向物联网平台订阅设备的升级操作信息，当设备进行版本升级等相关操作时，平台会向第三方应用发送通知消息

查看更多 →

应用服务器可调用此接口在物联网平台订阅设备相关的业务信息，当设备的业务信息发生变化时（如设备注册、设备数据上报、设备状态变更等），平台会向应用服务器发送通知消息。Status Code: 201 Created订阅推送

查看更多 →

第三方应用可在物联网平台订阅设备相关的业务数据，当物联网平台中设备的业务信息发生变化时（如设备注册、设备数据上报、设备状态变更等），平台会向第三方应用发送通知消息，通知其具体的变化信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备业务变更通知。支持第三方应用向物联网平台订阅设备的业务变更信息，当设备的状态、数据等信息发生变化时，

查看更多 →

数据治理平台 数据平台总体架构 本项目一期以离线数据分析为主，按照华为云数据使能方案的离线数据湖子方案，以华为公有云为载体，为客户建设离线数据湖平台，作为本次项目数据分析应用的数据底座。 离线数据湖平台整体架构如下，核心由三个云服务组成，大数据平台MRS、数据仓库平台DWS、数据集成治理平台DataArts

查看更多 →

对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

第三方应用可向物联网平台订阅设备相关的管理数据，当物联网平台中设备进行版本升级等相关操作时，平台会向第三方应用发送通知消息，知会其具体的操作状态或操作结果信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备升级操作通知。支持第三方应用向物联网平台订阅设备的升级操作信息，当设备进行版本升级等相关操作时，平台会向第三方应用发送通知消息

查看更多 →

第三方应用可在物联网平台订阅设备相关的业务数据，当物联网平台中设备的业务信息发生变化时（如设备注册、设备数据上报、设备状态变更等），平台会向第三方应用发送通知消息，通知其具体的变化信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备业务变更通知。支持第三方应用向物联网平台订阅设备的业务变更信息，当设备的状态、数据等信息发生变化时，

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →