分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka安装及使用命令 更多内容
  • 均衡Kafka扩容节点后数据

    均衡Kafka扩容节点后数据 操作场景 用户可以在Kafka扩容节点后,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载。 本章节内容适用于 MRS 3.x之前版本。3.x之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求,并准备一个K

    来自:帮助中心

    查看更多 →

  • 发布及安装项目

    发布安装项目 发布项目 安装项目

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    该章节仅适用MRS 3.x之后版本。 使用Kafka客户端修改Kafka Topic 进入ZooKeeper实例页面: 登录 FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x之后版本)。然后选择“集群 > 服务 > ZooKeeper

    来自:帮助中心

    查看更多 →

  • 发布及安装项目

    发布安装项目 发布项目 安装项目

    来自:帮助中心

    查看更多 →

  • 在Kafka Topic中接入消息

    Kafka Topic中接入消息 操作场景 用户可以根据业务需求,通过Kafka客户端或KafkaUI查看当前消费情况。 本章节内容适用于MRS 3.x后续版本。 前提条件 如果当前使用Kafka客户端,需要满足以下条件: MRS集群管理员已明确业务需求,并准备一个系统用户。

    来自:帮助中心

    查看更多 →

  • Kafka客户端使用实践

    Kafka客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x后续版本。 前提条件 已安装客户端。例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载key

    来自:帮助中心

    查看更多 →

  • 管理Kafka Topic中的消息

    MRS 3.x后续版本,登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Kafka”。 单击“实例”,查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。

    来自:帮助中心

    查看更多 →

  • 使用Kafka Token认证

    BOOTSTRAP_SERVERS需根据集群实际情况,配置Kafka Broker节点的主机名端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“SASL_PLAINTEXT”。

    来自:帮助中心

    查看更多 →

  • 使用Kafka Token认证

    BOOTSTRAP_SERVERS需根据集群实际情况,配置Kafka Broker节点的主机名端口,可通过集群FusionInsight Manager界面中单击“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“SASL_PLAINTEXT”。

    来自:帮助中心

    查看更多 →

  • 安全集群中使用Python3.x对接Kafka

    6.7 Python3.x的tgz包也可以去Python官网下载。推荐使用Python-3.6.X版本,3.7版本无法使用rdd的take函数。 执行如下命令,设置Python3.x的配置信息编译安装安装到/opt/Bigdata/python3目录下。 ./configure

    来自:帮助中心

    查看更多 →

  • 部分命令使用限制

    部分命令使用限制 本章节主要介绍部分Redis命令使用时的限制。 Key相关命令使用限制 使用KEYS命令时,若缓存数据量较大,可能会较长时间阻塞其它业务命令操作,甚至可能过高地占用额外内存。因此使用KEYS命令时请尽量描述精确的pattern、不要使用“keys *”进行全通配

    来自:帮助中心

    查看更多 →

  • 如何配置Kafka客户端shell命令日志

    如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。

    来自:帮助中心

    查看更多 →

  • 安装命令行工具

    安装命令行工具 前提条件 操作系统为 Linux、Windows或Mac OS。 安装 node.js 10以上版本。 操作步骤 下载命令行工具。 npm install -g @huaweicloud/hcloud 验证命令行工具安装结果。 执行如下命令,显示版本号则安装成功。

    来自:帮助中心

    查看更多 →

  • 生成安装集群节点的安装命令

    生成安装集群节点的安装命令 功能介绍 生成安装集群节点的安装命令。 调试 您可以在 API Explorer 中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/clu

    来自:帮助中心

    查看更多 →

  • 安装命令行工具

    基因容器命令行工具支持64位的Ubuntu、CentOS7及EulerOS系统,命令行工具无需安装,只需下载后将其放置在操作系统中的任意目录即可。请登录基因容器控制台,在“总览”页面右侧的“工具”中下载“cloud-cli-linux-gcs-x.x.xx.zip”,下载包中的“gcs”即命令行工具。请将命令行工具所在路径设置为环境变量(

    来自:帮助中心

    查看更多 →

  • 迁移Kafka节点内数据

    使用KafkaUI迁移分区(MRS 3.1.2之后版本) 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作,例如创建Topic,需同时授予用户相关权限,请参考Kafka用户权限说明。

    来自:帮助中心

    查看更多 →

  • 配置Kafka数据均衡工具

    配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 本章节内容适用于MRS 3.x后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据 前提条件 MR

    来自:帮助中心

    查看更多 →

  • Kafka安全使用说明

    为其他使用Kafka的系统用户授予相关Topic的特定权限。 Kafka默认用户组信息表所示。 用户组名 描述 kafkaadmin Kafka管理员用户组。添加入本组的用户,拥有所有Topic的创建,删除,授权读写权限。 kafkasuperuser 添加入本组的用户,拥有所有Topic的读写权限。

    来自:帮助中心

    查看更多 →

  • Kafka流式数据处理集群快速入门

    。 subnet-default 集群节点 配置集群节点信息。 保持默认 Kerberos认证 是否启用Kerberos认证。 不开启 用户名 登录集群管理页面E CS 节点的用户名。 admin/root 密码 设置登录集群管理页面ECS节点用户的密码。 - 确认密码 再次输入设置用户密码。

    来自:帮助中心

    查看更多 →

  • 快速开发Kafka应用

    际情况,配置Kafka Broker节点的主机名端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看Broker实例信息。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“PLAINTEXT”。

    来自:帮助中心

    查看更多 →

  • 使用Kafka客户端

    MRS 3.x后续版本:使用kafka-topics.sh管理Kafka主题。 创建主题: Topic的Partition自动划分时,默认根据节点磁盘上已有的Partition数进行均衡划分,如果期望根据磁盘容量进行Partition划分,那么需要修改Kafka服务配置“log.partition

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了