案例：设置cost_param对查询性能优化 cost_param参数用于控制在特定的客户场景中，使用不同的估算方法使得估算值与真实值更接近。此参数可以同时控制多种方法，与某一方法对应的位做与操作，不为0表示该方法被选择。 场景一：优化前 cost_param的bit0（set

查看更多 →

Kafka相关概念 华为云使用Kafka作为消息引擎，以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费，围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息，多个消费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。

查看更多 →

使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

查看更多 →

选择需要同步的Kafka Topic。 图4 选择需要同步的Kafka Topic 消费组ID 消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。Migration支持指定本次消费动作所属的Kafka消费组。 Kafka源端属性配置 支持设置Kafka的配置项，需要增加

查看更多 →

Hadoop类型： MRS ：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1

查看更多 →

opic的内容 如何配置Kafka客户端shell命令日志 如何获取Topic的分布信息 Kafka高可靠使用说明 使用Kafka Shell命令无法操作Kafka集群 Kafka生产者写入单条记录过长问题 Kakfa消费者读取单条记录过长问题 Kafka集群节点内多磁盘数据量占用高

查看更多 →

创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

Hadoop类型： MRS：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1

查看更多 →

MRS Kafka 获取MRS Kafka配置文件方法如下： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“fikafka-producer

查看更多 →

修复Kafka 前提条件 已获取 FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“KAFKAUI_HEAP_OPTS”。在参数值中添加“

查看更多 →

MRS Kafka 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafk

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。

查看更多 →

http://kafka.apache.org/documentation.html。 接收器调优 Streaming中已有多种数据源的接收器，例如Kafka、Flume、MQTT、ZeroMQ等，其中Kafka的接收器类型最多，也是最成熟一套接收器。 Kafka包括三种模式的接收器API：

查看更多 →

Kafka结果表 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集

查看更多 →

Manager，不会重启实例。 关闭Kafka Manager 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。

查看更多 →

Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：

查看更多 →

约束与限制 重启Kafka Manager不会影响业务。 重启Kafka Manager 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例名称，进入实例详情页面。

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例名称，进入实例详情页面。

查看更多 →

创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动

查看更多 →