分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    配置kafka 更多内容
  • Kafka生产消息

    Kafka生产消息 功能介绍 在控制台发送指定消息Kafka实例 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/messages/action 表1 路径参数 参数 是否必选 参数类型 描述

    来自:帮助中心

    查看更多 →

  • Kafka用户权限管理

    Kafka用户权限管理 Kafka用户权限说明 创建Kafka权限角色 配置Kafka用户Token认证信息 父主题: 使用Kafka

    来自:帮助中心

    查看更多 →

  • Kafka 样例工程配置文件说明

    需要带上kafka服务kafka MRS 服务是否开启Kerberos认证配置项。 表4 kafkaSecurityMode文件配置项 参数 描述 备注 kafka.client.security.mode kafka所在的MRS服务集群是否开启Kerberos认证配置项 若开启

    来自:帮助中心

    查看更多 →

  • Kafka Sink配置发送失败重试机制

    Kafka Sink配置发送失败重试机制 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。Flink Sink写Kafka报错后作业失败: Caused by: org.apache.kafka.common.errors.NetworkException:

    来自:帮助中心

    查看更多 →

  • 分布式消息服务Kafka版

    最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。

    来自:帮助中心

    查看更多 →

  • Upsert Kafka结果表

    支持:'append', 'retract'及'upsert'三种写入模式 connector.properties.* 否 配置kafka任意原生属性 示例 create table upsertKafkaSink( car_id STRING, car_owner STRING

    来自:帮助中心

    查看更多 →

  • 删除Kafka实例

    分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,删除按需计费的Kafka实例。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“删除”。 在待删除Kafka实例所在行,单击“更多 > 删除”。

    来自:帮助中心

    查看更多 →

  • MRS Kafka输出流

    c/hosts”信息。 kafka_properties 否 可通过该参数配置kafka的原生属性,格式为"key1=value1;key2=value2" kafka_certificate_name 否 跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时,该参数有效。

    来自:帮助中心

    查看更多 →

  • MRS Kafka输入流

    start_time 否 kafka数据读取起始时间。 当该参数配置时则从配置的时间开始读取数据,有效格式为yyyy-MM-dd HH:mm:ss。start_time要不大于当前时间,若大于当前时间,则不会有数据读取出。 kafka_properties 否 可通过该参数配置kafka的原生属性

    来自:帮助中心

    查看更多 →

  • 连接Kafka网络要求

    Kafka控制台开启IPv6功能,将IPv6地址加入到共享带宽中,实现客户端通过公网访问Kafka实例。 配置Kafka实例的公网访问 使用DNAT通过端口映射方式,实现客户端通过公网连接Kafka实例。 使用DNAT实现公网访问Kafka 内网连接 客户端和Kafka实例部署在同一个VPC中,此时网络默认互通。

    来自:帮助中心

    查看更多 →

  • 购买Kafka实例

    您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签,标签的命名规格,请参考配置Kafka实例标签章节。 描述 设置实例的描述信息,长度为0~1024个字符。 表7 Topic参数值 参数名称 单机实例默认参数值 集群实例默认参数值 集群实例修改后的参数值

    来自:帮助中心

    查看更多 →

  • Apache Kafka同步到MRS Kafka

    支持设置Kafka配置项,需要增加 properties. 前缀,作业将自动移除前缀并传入底层Kafka客户端,具体参数可参考 Apache Kafka官方文档 中的配置说明。 配置目的端参数。 图5 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka

    来自:帮助中心

    查看更多 →

  • 使用Kafka

    使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

    来自:帮助中心

    查看更多 →

  • Kafka连接

    Hadoop类型: MRS:表示连接MRS的Kafka。 Apache Kafka:表示连接Apache KafkaKafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表,格式如:“host1:port1

    来自:帮助中心

    查看更多 →

  • 使用Kafka触发器

    VPC访问请参见配置网络。 Kafka触发器当前支持选择多个Topic主题,从而避免Topic过多导致创建的触发器数量被限制。 图2 支持多Topic选择 配置Kafka事件触发函数。 返回 函数工作流 控制台,在左侧的导航栏选择“函数 > 函数列表”。 选择待配置的函数,单击进入函数详情页。

    来自:帮助中心

    查看更多 →

  • Kafka数据迁移概述

    创建Kafka数据复制的Smart Connect任务,用于同步两个Kafka消息。具体步骤请参见配置Kafka间的数据复制。 在Kafka控制台的“消息查询”页面,查看两个Kafka的最新消息是否一致,确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。

    来自:帮助中心

    查看更多 →

  • 删除Kafka Topic

    只有运行中的实例才可以删除Topic。 删除Kafka Topic(控制台) 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。

    来自:帮助中心

    查看更多 →

  • 路由到分布式消息服务Kafka版

    确定”。 请参考配置分布式消息服务 Kafka版,配置事件源。 配置事件目标。 单击“事件目标”,右侧弹出“事件目标”弹窗。 目标服务选择“分布式消息服务 Kafka版”。 设置事件目标参数。 图1 分布式消息服务 Kafka版 表1 分布式消息服务 Kafka版参数说明 参数名称

    来自:帮助中心

    查看更多 →

  • FunctionGraph和kafka必须在同一个子网内,才可以在FunctionGraph中配置Kafka触发器吗?

    FunctionGraph和kafka必须在同一个子网内,才可以在FunctionGraph中配置Kafka触发器吗? 是必须的。在创建函数的时候会判断子网是否相同,不允许一个VPC的不同子网进行连接。 父主题: 触发器管理

    来自:帮助中心

    查看更多 →

  • Apache Kafka同步到MRS Kafka

    Apache Kafka同步到MRS Kafka 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch

    来自:帮助中心

    查看更多 →

  • 配置Windows通过EIP访问安全模式集群Kafka

    配置Windows通过EIP访问安全模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了