在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称，进入实例的“基本信息”页面。 密文接入分为内网访问密文接入和公网访问密文接入，关闭密文接入方法如表5所示。 表5 关闭密文接入方法 接入方式 关闭明文接入 内网访问密文接入

查看更多 →

接入端侧视频直播查看实时画面 前提条件 PC坐席进入智能监控页面。 智能设备已直播在线 操作步骤-电脑端 进入智能监控页面地图模式、列表视角、监控看板。 点击设备或图标进入视频。 观看来自智能终端的实时视频会议。设备侧网络弱时会提示“设备网络异常”。 设备已关联任务，且任务未关闭

查看更多 →

云数据库的跨区域迁移可以使用数据复制服务 DRS。DRS服务具有实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。 其他数据迁移 大数据场景迁移：推荐使用云数据迁移 CDM 。 Kafka业务迁移：具体请参见分布式消息服务Kafka版的Kafka业务迁移。 Redis业务迁移：具体请参见分布式缓存服务

查看更多 →

大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 数据仓库 服务 GaussDB (DWS) MapReduce服务 MRS 云搜索服务 CSS 父主题： SCP授权参考

查看更多 →

全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。 数据采集 数据采集层提供了数据接入到MRS集群的能力，包括Flume（数据采集）、Loader（关系型数据导入）、Kafka（高可靠消息队列），支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。

查看更多 →

依赖服务迁移 本节介绍集群依赖服务的相关数据迁移，如本地存储、数据库、分布式缓存、分布式消息等。若您的集群不涉及这些数据，或者这些数据不需要搬迁上云，可忽略本节内容。 存储迁移 若您的集群使用本地存储，迁移上云可以使用华为云数据快递服务 DES。DES服务是一种海量数据传输解决方

查看更多 →

Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：

查看更多 →

Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） 华为云MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发

查看更多 →

无法支撑海量车机系统安全接入 车机管理效率低下且存在众多安全问题 在复杂网络环境下保证消息实时性与可靠性 无法保障大并发、高可用消息通信 难以快速实现业务系统对接 难以支撑包含整车部分、调度系统和运维系统，需要稳定、低时延、高性能的车云数据接入服务 无法支持数据实时采集与分析实现生产线

查看更多 →

支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（M

查看更多 →

Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。 CDL目前支持的数据源有MySQL、Postgr

查看更多 →

分布式消息服务Kafka版 本章节介绍在创建事件流时，如何配置分布式消息服务Kafka版实例为事件源。 前提条件 已在分布式消息服务Kafka版中购买Kafka实例，详情请参见购买Kafka实例。 Kafka实例中的安全组在“入方向规则”中放开Kafka实例的子网网段和端口，详情

查看更多 →

OBS、MapReduce服务 MRS、数据湖探索 DLI、数据仓库服务 DWS、 表格存储 服务 CloudTable。具体DIS支持的转存储任务已实际购买的实例为准。 应用场景：数据接入服务主要解决云服务外的数据实时传输到云服务内的问题。 规格参考：通道规格理论1个分区1M/秒接入，2M/秒读取。

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

可信智能计算 服务 TICS 开放能力 EI服务产品部 数据可视化 数据可视化 DLV 开放能力 EI服务产品部 大数据应用 推荐系统RES 开放能力 EI服务产品部 大数据搜索与分析 云搜索 服务 CS S 开放能力 EI服务产品部 大数据治理与开发 数据湖治理中心DGC 开发平台 EI服务产品部 数据接入服务 DIS

查看更多 →

已配置过DMS转储的日志流不能重复配置。 - Kafka实例 选择Kafka实例。如果没有可选择的实例，单击“查看Kafka实例”，进入分布式消息管理控制台，创建Kafka专享版。 如果Kafka实例已注册（如果未注册，请注册Kafka示例，操作指导请参见：注册Kafka实例），可以选择修改Kafka实例。 说明：

查看更多 →

完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时接入生成offset，再truncate table ，再历史导入，再开启实时。 初始化操作流程应遵循下面的步骤： 如果批量初始化前表里已经存在数据且没有truncate

查看更多 →

消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”、“异步”发送到Kafka客户端。

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理 服务器 。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

提供存算分离、湖仓一体的大数据平台，通过优化数据处理路径和提升存储效率，大幅降低数据存储成本； 构建在线分析数据处理通路，数据实时同步、实时处理、交互式查询，实现分钟级甚至秒级的数据时效。 方案架构 华为云车联网数据应用解决方案，面向车联网运营和数据价值挖掘场景，构建车联网数据的采、存、算、

查看更多 →