分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka服务配置 更多内容
  • SparkStreaming消费Kafka消息失败,提示“Couldn't find leader offsets”

    Manager界面操作:登录 MRS Manager,选择“服务管理 > Kafka > 服务配置”,“参数类别”设置为“全部配置”,发现“KAFKA_JVM_PERFORMANCE_OPTS”的中“-XX:MaxDirectMemorySize”值为“1G”。 FusionInsight Manag

    来自:帮助中心

    查看更多 →

  • 分布式消息(Kafka)

    分布式消息Kafka分布式消息Kafka)连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式Kafka)连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制,则需要放通 集成工作台 公网出口访问地址“124

    来自:帮助中心

    查看更多 →

  • 调测Kafka Token认证机制样例程序

    调测Kafka Token认证机制样例程序 Kafka服务配置Kafka Token认证。 登录FusionInsight Manager管理界面,选择“集群 > 服务 > Kafka > 配置”,打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation

    来自:帮助中心

    查看更多 →

  • Kafka 样例工程配置文件说明

    通过此参数,访问zookeeper,末尾需要带上kafka服务kafka MRS服务是否开启Kerberos认证配置项 表4 kafkaSecurityMode文件配置项 参数 描述 备注 kafka.client.security.mode kafka所在的MRS服务集群是否开启Kerberos认证配置项 若开启

    来自:帮助中心

    查看更多 →

  • Kafka Sink配置发送失败重试机制

    Kafka Sink配置发送失败重试机制 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。Flink Sink写Kafka报错后作业失败: Caused by: org.apache.kafka.common.errors.NetworkException:

    来自:帮助中心

    查看更多 →

  • 使用Kafka

    使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

    来自:帮助中心

    查看更多 →

  • 使用Kafka Eagle对接MRS Kafka

    使用Kafka Eagle对接MRS Kafka Kafka Eagle简介 Kafka Eagle是一款分布式、高可用的Kafka监控软件,提供丰富的Kafka监控指标,例如:Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic

    来自:帮助中心

    查看更多 →

  • IEF服务配置

    如图2所示,为节点配置系统日志和应用日志。您可以自行选择是否开启云端日志(开启后,可在AOM服务中查看日志)。 图2 日志配置 阅读并勾选协议后单击“注册”,进入如下图页面,请下载配置文件和软件,在纳管边缘节点时将会用到。 图3 下载配置文件和边缘核心软件 在右下角勾选“我已完成下载配置文件”,并单击“完成”,边缘节点注册完成。

    来自:帮助中心

    查看更多 →

  • 配置SSH服务

    如果没有处于开启状态,执行命令:service sshd start 配置SSH服务配置文件,使root用户能够使用SSH方式登录。 文件位置:/etc/ssh/sshd_config 设置PermitRootLogin yes 配置完成后重启SSH服务。 service sshd restart 父主题:

    来自:帮助中心

    查看更多 →

  • 配置服务SLA

    在“应用管理”中已创建应用服务,同步应用至“服务管理”,并为同步的服务添加依赖服务。 在“服务管理”中已新增一个服务并添加依赖服务,关联服务使服务信息同步到“应用服务”中。 依赖服务和被依赖服务需同时被创建成应用服务,才会展示对应“服务SLA”。 配置服务SLA 参考登录AstroPro界面中操作,登录AstroPro界面。

    来自:帮助中心

    查看更多 →

  • 配置服务环境

    配置服务环境 录入其他华为账号进行资源统一管理 为资源接入准备环境 将企业项目录入运维中心

    来自:帮助中心

    查看更多 →

  • 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED”

    Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”进入Kafka服务配置页面,搜索“allow.everyone.if.no.acl.found”配置项,将该值修改为“true”后,重新运行程序。 父主题: Kafka应用开发常见问题

    来自:帮助中心

    查看更多 →

  • 使用Kafka

    使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

    来自:帮助中心

    查看更多 →

  • 使用Kafka

    topic的内容 如何配置Kafka客户端shell命令日志 如何获取Topic的分布信息 Kafka高可靠使用说明 使用Kafka Shell命令无法操作Kafka集群 Kafka生产者写入单条记录过长问题 Kakfa消费者读取单条记录过长问题 Kafka集群节点内多磁盘数据量占用高

    来自:帮助中心

    查看更多 →

  • Kafka连接

    Hadoop类型: MRS:表示连接MRS的Kafka。 Apache Kafka:表示连接Apache KafkaKafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表,格式如:“host1:port1

    来自:帮助中心

    查看更多 →

  • 新建集群Consumer消费数据失败,提示“GROUP

    可以将扩容至少3个流式core节点,或参考如下步骤修改服务配置参数。 进入服务参数配置界面。 MRS Manager界面操作:登录MRS Manager,选择“服务管理 > Kafka > 服务配置”,“参数类别”设置为“全部配置”。 FusionInsight Manager界面操作:登录FusionInsight

    来自:帮助中心

    查看更多 →

  • 创建Kafka Topic

    tition数进行均衡划分,如果期望根据磁盘容量进行Partition划分,那么需要修改Kafka服务配置“log.partition.strategy”为“capacity”。 Kafka创建Topic时,支持基于“机架感知” 和 “跨AZ特性” 两种选项组合生成分区及副本的分配方案且支持

    来自:帮助中心

    查看更多 →

  • 灰度服务配置

    灰度服务配置 本章介绍通过IaC进行灰度服务配置的管理,包括灰度规则的管理及灰度阶段切换。对应的资源类型为WiseCloud::LoadBalancer::GrayConfig。 表1 灰度服务类型说明 灰度路由引擎 对应ruleType SLB(>1.3.11) SLB 微服务 MicroService

    来自:帮助中心

    查看更多 →

  • 配置服务环境

    步骤二:环境配置 在“服务环境配置”页面,选择左侧导航栏的“服务关联”。 在环境配置区域,选择待配置环境的环境名称。 单击“新增”,新增环境配置,具体参数如表2所示。 表2 环境配置参数 参数 说明 部门 选择已录入的部门。 产品 选择已录入的产品。 服务 选择已录入的服务。 华为公有云账号名

    来自:帮助中心

    查看更多 →

  • 配置vsftpd服务

    配置vsftpd服务 安装宿主机的Linux操作系统后,打开终端terminal,输入以下命令,查看vsftpd服务状态。 service vsftpd status 观察是否自启动(enabled),并且是否处于开启状态(active)。 如果没有自启动,执行命令:service

    来自:帮助中心

    查看更多 →

  • 配置服务授权

    配置服务授权 开天集成工作台与华为云的其他云服务有交互,为保证您更好的使用开天集成工作台的功能,首次使用MSSI服务时建议先进行服务授权。 进行服务授权后,开天集成工作台将在统一身份认证服务为您创建名为mssi_admin_trust的委托,为保证服务正常使用,在使用MSSI服务

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了