分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka key 配置 更多内容
  • 配置USB Key厂商

    USB Key厂商配置详情请参见配置USBKey登录。 前提条件 用户已获取“系统”模块管理权限。 操作步骤 登录 堡垒机 系统。 选择“系统 > 系统配置 > 安全配置”,进入系统安全配置管理页面。 在“USB Key配置”区域,单击“编辑”,弹出系统USB Key厂商配置窗口。 选择USBKey厂商。

    来自:帮助中心

    查看更多 →

  • KEY-KEY

    KEY-KEY 语法 创建一个或多个KEY-KEY分区表,其中每个分区可能有一个或一个以上的子分区。 CREATE TABLE [ schema. ]table_name table_definition PARTITION BY [LINEAR] KEY(expr) [PARTITIONS

    来自:帮助中心

    查看更多 →

  • KEY-KEY

    KEY-KEY 语法 创建一个或多个KEY-KEY分区表,其中每个分区可能有一个或一个以上的子分区。 CREATE TABLE [ schema. ]table_name table_definition PARTITION BY [LINEAR] KEY(expr) [PARTITIONS

    来自:帮助中心

    查看更多 →

  • 配置Kafka/DMS Kafka源端参数

    配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时,源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式:

    来自:帮助中心

    查看更多 →

  • 大Key/热Key分析/过期Key扫描

    Key/热Key分析/过期Key扫描 什么是大Key/热Key? 存在大Key/热Key,有什么影响? 为了减少大Key和热Key过大,有什么使用建议? 如何分析Redis 3.0实例的热Key? 如何提前发现大Key和热Key? D CS 删除过期key Key的保存时间是多久?如何设置Key的过期时间?

    来自:帮助中心

    查看更多 →

  • 查询热key自动分析配置

    查询热key自动分析配置 功能介绍 查询热key自动分析配置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/hotkey/autoscan 表1 路径参数 参数 是否必选 参数类型 描述 project_id

    来自:帮助中心

    查看更多 →

  • 查询大key自动分析配置

    查询大key自动分析配置 功能介绍 查询大key自动分析配置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/bigkey/autoscan 表1 路径参数 参数 是否必选 参数类型 描述 project_id

    来自:帮助中心

    查看更多 →

  • 配置Kafka/DMS Kafka源端参数

    配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时,源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式:

    来自:帮助中心

    查看更多 →

  • 配置Kafka流控

    在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。

    来自:帮助中心

    查看更多 →

  • Kafka常用配置参数

    Kafka常用配置参数 本章节内容适用于 MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect

    来自:帮助中心

    查看更多 →

  • 配置Kafka源端参数

    配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式: JSON:以JSON格式解析源数据。 CSV格式:以CSV格式解析源数据。 JSON格式

    来自:帮助中心

    查看更多 →

  • 设置大key自动分析配置

    设置大key自动分析配置 功能介绍 设置大key自动分析配置。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/bigkey/autoscan 表1 路径参数 参数 是否必选 参数类型 描述 project_id

    来自:帮助中心

    查看更多 →

  • 设置热key自动分析配置

    设置热key自动分析配置 功能介绍 设置热key自动分析配置。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/hotkey/autoscan 表1 路径参数 参数 是否必选 参数类型 描述 project_id

    来自:帮助中心

    查看更多 →

  • 配置Kafka实例标签

    配置Kafka实例标签 标签是Kafka实例的标识,为Kafka实例添加标签,可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签,也可以在Kafka实例创建完成后,在“标签”页面添加标签,您最多可以给实例添加20个标签。另外,您还可以删除标签。

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    修改Kafka Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述,不会重启实例。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数,修改方法请参见修改Kafka

    来自:帮助中心

    查看更多 →

  • Kafka常用配置参数

    Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect

    来自:帮助中心

    查看更多 →

  • 什么是大Key/热Key?

    什么是大Key/热Key? 名词 定义 大KeyKey可以分为两种情况: Key的Value占用存储空间较大。一般单个String类型的Key大小达到10KB,或者集合类型的Key总大小达到50MB,则被定义为大KeyKey的元素较多。一般集合类型的Key中元素超过5000个,则被定义为大Key。

    来自:帮助中心

    查看更多 →

  • 配置Kafka ACL用户

    在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。 source /opt/client/bigdata_env

    来自:帮助中心

    查看更多 →

  • 分布式消息(Kafka)

    分布式消息Kafka分布式消息Kafka)连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式Kafka)连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制,则需要放通 集成工作台 公网出口访问地址“124

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了