分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka使用教程 kafkaclient 更多内容
  • 配置Flume对接安全模式Kafka

    ,所配置的principal需要有相应的kafka的权限。 配置业务,其中kafka.bootstrap.servers的端口号使用21007,kafka.security.protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的 域名 发生了更改,需要对${Fl

    来自:帮助中心

    查看更多 →

  • 配置Flume对接安全模式Kafka

    ,所配置的principal需要有相应的kafka的权限。 配置业务,其中kafka.bootstrap.servers的端口号使用21007,kafka.security.protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改,需要对${Fl

    来自:帮助中心

    查看更多 →

  • 使用kafka采集数据时报错IllegalArgumentException

    使用kafka采集数据时报错IllegalArgumentException 问题 线程“main”报错 org.apache.kafka.common.KafkaException,构造kafka消费者失败,报错: java.lang.IllegalArgumentException:

    来自:帮助中心

    查看更多 →

  • 更多教程

    更多教程 更多开发教程请参见官方文档。 父主题: 应用程序开发教程

    来自:帮助中心

    查看更多 →

  • 使用Kafka Shell命令无法操作Kafka集群

    使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息,但发现业务执行失败。 具体信息如下: root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1

    来自:帮助中心

    查看更多 →

  • Flink Kafka样例程序开发思路

    32:21009表示kafka服务器的IP:port,XXX表示 FusionInsight 相应的版本号,xxx表示密码。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据,保证topic与producer一致。

    来自:帮助中心

    查看更多 →

  • 使用Kafka触发器

    使用Kafka触发器 本节介绍创建Kafka触发器,供用户了解Kafka触发器的使用方法。 使用Kafka触发器后,FunctionGraph会定期轮询Kafka实例指定Topic下的新消息,FunctionGraph将轮询得到的消息作为参数传递来调用函数,关于Kafka触发器的事件源介绍请参见支持的事件源。

    来自:帮助中心

    查看更多 →

  • 配置Flink对接Kafka安全认证

    配置Flink对接Kafka安全认证 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行创

    来自:帮助中心

    查看更多 →

  • Kafka安全使用说明

    Kafka安全使用说明 Kafka API简单说明 新Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口,在使用kafka-console-producer.sh”时,默认使用此API。 旧Producer

    来自:帮助中心

    查看更多 →

  • IF条件判断教程

    IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的

    来自:帮助中心

    查看更多 →

  • 迁移Kafka节点内数据

    )。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况,评估迁移后,不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户,登录已安装Kafka客户端的节点。 执行以下命令,切换到Kafka客户端安装目

    来自:帮助中心

    查看更多 →

  • spring-kafka的使用

    spring-kafka使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。

    来自:帮助中心

    查看更多 →

  • Kafka业务使用流程

    Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS

    来自:帮助中心

    查看更多 →

  • 使用Kafka生产消费数据

    使用Kafka生产消费数据 操作场景 用户可以通过 MRS 集群客户端完成Kafka Topic的创建、查询、删除等操作,也可以通过登录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。

    来自:帮助中心

    查看更多 →

  • DMS for Kafka安全使用建议

    DMS for Kafka安全使用建议 安全性是华为云与您的共同责任。华为云负责云服务自身的安全,提供安全的云;作为租户,您需要合理使用服务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。 本文提供了使用DMS for Kafka过程中的安全最佳实践,旨在为提高

    来自:帮助中心

    查看更多 →

  • 配置Flink对接Kafka安全认证

    配置Flink对接Kafka安全认证 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行创

    来自:帮助中心

    查看更多 →

  • Flink Kafka样例程序开发思路

    //10.96.101.32:21009表示kafka 服务器 的IP:port,xxx表示密码。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据,保证topic与producer一致。

    来自:帮助中心

    查看更多 →

  • 教程:使用GDS从远端服务器导入数据

    教程使用GDS从远端服务器导入数据 教程指引 先决条件 步骤1:准备源数据 步骤2:在数据服务器上安装配置和启动GDS 步骤3:在 GaussDB数据库 中创建外表 步骤4:将数据导入 GaussDB 步骤5:分析和处理错误表中的错误信息 步骤6:优化导入数据的查询性能 步骤7:停止GDS

    来自:帮助中心

    查看更多 →

  • Kafka生产消息

    Kafka生产消息 功能介绍 在控制台发送指定消息Kafka实例 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/messages/action 表1 路径参数 参数 是否必选 参数类型 描述

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming状态操作样例程序开发思路

    amp; 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据(需要有Kafka权限用户)。 确保集群安装完成,包括安装HDFS、Yarn、Spark2x和Kafka服务。 将Kafka的Broker配置参数“allow.everyone.if.no.acl

    来自:帮助中心

    查看更多 →

  • Spark Structured Streaming状态操作样例程序开发思路

    amp。 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据(需要有Kafka权限用户)。 确保集群安装完成,包括安装HDFS、Yarn、Spark2x和Kafka服务。 将Kafka的Broker配置参数“allow.everyone.if.no.acl

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了