分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka安装及使用命令 更多内容
  • 安装和使用MPICH

    安装使用MPICH 操作场景 该任务指导用户在BMS集群上运行MPICH应用(mpich-3.3.2版本)。 前提条件 已配置BMS集群间互相免密登录。 集群中所有的BMS,均已安装MPICH。 操作步骤 关闭防火墙。 登录集群中任意一台BMS。 执行以下命令,关闭BMS防火墙。

    来自:帮助中心

    查看更多 →

  • 安装和使用MPICH

    安装使用MPICH 操作场景 本节指导用户在鲲鹏BMS集群上安装使用MPICH应用(以版本mpich-3.3.2为例)。 对于集群中的每台BMS,都需要执行该操作。 前提条件 已配置BMS集群间互相免密登录。 操作步骤 安装MPICH。 下载MPICH。 下载地址:https://aur

    来自:帮助中心

    查看更多 →

  • 使用Kafka客户端SSL加密

    使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前,必须要保证服务端SSL对应服务功能已经开启(服务端参数“ssl.mode.enable”设置为“true”)。 SSL功能需要配合API进行使用,可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能

    来自:帮助中心

    查看更多 →

  • MapReduce服务 MRS

    MapReduce服务 MRS 修改服务配置参数 04:01 MRS修改服务配置参数指导 MapReduce服务 MRS 配置MRS集群弹性伸缩 03:44 配置MRS集群弹性伸缩 MapReduce服务 MRS 安装使用MRS客户端 03:44 安装使用MRS客户端 MapReduce服务

    来自:帮助中心

    查看更多 →

  • MRS 1.7.1.6补丁说明

    查看并导出检查报告,健康检查结果上只存在这两个主机报错:“安装目录数据目录检查: 目录下文件异常. 请检查安装目录和数据目录下的内容”。 图2 健康检查结果表 安装补丁的影响 安装MRS 1.7.1.1,MRS 1.7.1.2补丁期间会重启服务,重启服务期间会引起服务暂时不可用。如果已经安装了MRS 1.7.1.2补丁之后,从MRS

    来自:帮助中心

    查看更多 →

  • 使用开源Kafka触发器

    使用开源Kafka触发器 本节介绍创建开源Kafka(OPENSOURCEKAFKA)触发器,供用户了解开源Kafka触发器的使用方法。 使用开源Kafka触发器后,FunctionGraph会定期轮询开源Kafka指定Topic下的新消息,FunctionGraph将轮询得到的消息作为参数传递来调用函数。

    来自:帮助中心

    查看更多 →

  • 安装及实例化链代码

    安装实例化链代码 安装链代码 实例化链代码 父主题: 准备工作

    来自:帮助中心

    查看更多 →

  • 安装及实例化链代码

    安装实例化链代码 一个通道里的所有Peer节点都必须安装链代码,然后在其中一个Peer节点上进行链代码实例化。如需使用相同的链代码,通道成员必须在链代码安装期间为链代码提供相同的名称和版本。 邀请方、被邀请方A和B都必须安装链代码。 使用的链代码名称和版本号必须一致。 实例化链

    来自:帮助中心

    查看更多 →

  • 安装程序及依赖驱动清单

    安装程序依赖驱动清单 以下内容为本次安装部署安装程序依赖驱动的清单列表,当需要使用到主数据数据集成中的实时数据处理功能时,需根据实际需求安装对应服务驱动。 安装程序清单 表1 安装程序清单 安装程序名称 支持的操作系统 说明 esendatagovernanceV2.5

    来自:帮助中心

    查看更多 →

  • 准备工作及硬件安装

    Tracking Config Tools v2.4.6 摄像头固件升级调试工具 维海德 硬件安装 图1 硬件安装 教师定位高清枪式摄像机(采用7.2mm镜头,水平视场角42°) 安装高度:2.2-2.4M 安装位置:横向居中安装。纵向离黑板墙面的位置用如下公式计算:教师机距黑板墙面距离S=(W/2)/

    来自:帮助中心

    查看更多 →

  • 安装VS Code软件及插件

    安装VS Code软件插件 本节介绍如何在本地安装Microsoft Visual Studio Code(简称VS Code)软件ModelArts提供的VSCode插件工具,协助用户完成SSH远程连接Notebook。 Step1 安装VS Code 下载并安装VS Code。

    来自:帮助中心

    查看更多 →

  • Kafka用户权限说明

    同步”进行IAM用户同步)。 MRS 3.x后续版本,登录 FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。

    来自:帮助中心

    查看更多 →

  • 使用Kafka客户端SSL加密

    使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前,必须要保证服务端SSL对应服务功能已经开启(服务端参数“ssl.mode.enable”设置为“true”)。 SSL功能需要配合API进行使用,可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能

    来自:帮助中心

    查看更多 →

  • 创建Kafka Topic

    创建Kafka Topic 操作场景 用户可以根据业务需要,使用集群客户端或KafkaUI创建Kafka的主题。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。 前提条件 已安装客户端。 使用Kafka客户端创建Kafka Topic 进入ZooKeeper实例页面:

    来自:帮助中心

    查看更多 →

  • 创建FlinkServer作业写入数据至Kafka消息队列

    域名 使用Flink 1.15.0以前版本对接Kafka,在扩容Kafka Topic分区后,需要重启相关的Flink作业,否则会导致新分区识别不及时漏消费数据。或在开发作业时,配置Flink动态发现Kafka Topic新分区功能。 可在作业SQL Kafka source表的WITH属性中,添加“scan

    来自:帮助中心

    查看更多 →

  • 使用curl命令操作OpenTSDB

    使用curl命令操作OpenTSDB 写入数据 例如,录入一个指标名称为testdata,时间戳为1524900185,值为true,标签为key,value的指标数据。 curl -ki -X POST -d '{"metric":"testdata", "timestamp":1524900185

    来自:帮助中心

    查看更多 →

  • 快速使用Flume采集节点日志

    普通集群不需要执行2-6。 安装Flume客户端。 可参考安装Flume客户端在日志生成节点安装Flume客户端,例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务配置文件,复制到安装Flume客户端的

    来自:帮助中心

    查看更多 →

  • 使用客户端连接Kafka(明文接入)

    0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已创建开启弹性公网IP的弹性云服务器,如果使用内网通过同一个VPC访问实例,请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。在弹性云服务器中安装Java

    来自:帮助中心

    查看更多 →

  • Console及页面使用

    Console页面使用 云专线工单分类方法有哪些?如何提交云专线工单? 云专线如何退订? 虚拟接口配置完成后哪些参数支持修改? 删除托管专线时需要先删除托管专线上的虚拟网关和虚拟接口么? 怎样修改云专线的路由模式? 怎样删除托管物理连接? 使用BGP路由模式时,华为云AS号是多少?

    来自:帮助中心

    查看更多 →

  • 变量绑定及使用

    变量绑定使用 将变量与组件绑定 在画布中选中组件,然后在右侧属性设置面板中,选择需要绑定变量的配置项,单击变量绑定按钮,进入“变量绑定”页面。 图1 绑定变量 选择左侧“State属性”(页面状态)或“应用状态”,在中间选择框中选择已添加好的变量,单击“确定”。 图2 变量绑定

    来自:帮助中心

    查看更多 →

  • 使用Flume服务端从本地采集静态日志保存到Kafka

    使用Flume服务端从本地采集静态日志保存到Kafka 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表(test1)。 本章节适用于MRS 3.x之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了