使用Kafka Eagle对接 MRS Kafka 应用场景 Kafka Eagle是一款分布式、高可用的Kafka监控软件，提供丰富的Kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic Capacity

查看更多 →

Broker的时间。 消息键（Key）与消息体（Value）的格式 Kafka消息的消息键和消息体部分都可以使用某种格式来序列化或反序列化成二进制数据。 消息体格式 由于 Kafka 消息中消息键是可选的，以下语句将使用消息体格式读取和写入消息，但不使用消息键格式。 'format'

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

2.7.0 Flink 1.12.2 Flume 1.9.0 HBase 2.2.3 HDFS 3.1.1 HetuEngine 1.2.0 Hive 3.1.0 Hudi（集成在Spark2x中） 0.9.0 Hue 4.7.0 Kafka 2.11-2.4.0 KrbServer

查看更多 →

Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题： 使用Flume

查看更多 →

理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在 FusionInsight Manager界面，选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样，详情见如下表格。

查看更多 →

Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:

查看更多 →

Flume运维管理 Flume常用配置参数 Flume业务配置指南 Flume日志介绍 查看Flume客户端日志 查看Flume客户端监控信息 停止或卸载Flume客户端 父主题： 使用Flume

查看更多 →

Flume基本原理 Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点

查看更多 →

Kafka生产消息 功能介绍 在控制台发送指定消息到Kafka实例 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/messages/action 表1 路径参数 参数 是否必选 参数类型 描述

查看更多 →

在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例名称，进入实例详情页面。 在左侧导航栏选择“消息查询”，进入消息列表页面。 Kafka实例支持两种查询消息的方法：按

查看更多 →

向新增加的分区发送消息，从而导致部分消息丢失。 删除Kafka消息 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧

查看更多 →

Hive元数据？ 如何重置MRS Kafka数据？ 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？ Kudu支持的压缩算法有哪些？ 如何查看Kudu日志？ 新建集群Kudu服务异常如何处理？ Presto如何配置其他数据源？

查看更多 →

Flume运维管理 Flume常用配置参数 Flume日志介绍 查看Flume客户端日志 查看Flume客户端监控信息 停止或卸载Flume客户端 父主题： 使用Flume

查看更多 →

Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题： 使用Flume

查看更多 →

Memory（OOM）的出现。 支持定制传输前后准备工作。Flume支持定制脚本，指定在传输前或者传输后执行指定的脚本，用于执行准备工作。 管理客户端告警。Flume通过MonitorServer接收Flume客户端告警，并上报Manager告警管理中心。 父主题： Flume

查看更多 →

安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE 2.0上安装部署Kafka。

查看更多 →

重启Kafka实例 分布式消息服务Kafka版支持在控制台重启单个Kafka实例，或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制，避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于

查看更多 →

http://kafka.apache.org/documentation.html。 接收器调优 Streaming中已有多种数据源的接收器，例如Kafka、Flume、MQTT、ZeroMQ等，其中Kafka的接收器类型最多，也是最成熟一套接收器。 Kafka包括三种模式的接收器API：

查看更多 →

最新动态（html） 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。

查看更多 →

分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 通过以下任意一种方法，删除按需计费的Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除”。 在待删除Kafka实例所在行，单击“更多 > 删除”。

查看更多 →