分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka安装及使用命令 更多内容
  • 使用控制台连接Kafka

    在待生产消息的Topic所在行,单击“更多 > 生产消息”(实例已开启SASL)/“生产消息”(实例未开启SASL),弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。

    来自:帮助中心

    查看更多 →

  • 创建FlinkServer作业写入数据至ClickHouse表

    本章节适用于 MRS 3.1.2之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写,有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。 MRS 3.2.0以后版本,根据安全

    来自:帮助中心

    查看更多 →

  • 查看Kafka磁盘使用量

    查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量,以了解Kafka实例的磁盘使用情况。 约束与限制 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件

    来自:帮助中心

    查看更多 →

  • Console及页面使用

    Console页面使用 云专线工单分类方法有哪些?如何提交云专线工单? 云专线如何退订? 虚拟接口配置完成后哪些参数支持修改? 删除托管专线时需要先删除托管专线上的虚拟网关和虚拟接口么? 怎样修改云专线的路由模式? 怎样删除托管物理连接? 使用BGP路由模式时,华为云AS号是多少?

    来自:帮助中心

    查看更多 →

  • Sqoop常用命令及参数介绍

    Sqoop常用命令参数介绍 Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群 export 集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果

    来自:帮助中心

    查看更多 →

  • 创建FlinkServer作业写入数据至Doris表

    本章节适用于MRS 3.5.0之后的版本。 操作场景 本章节提供了如何使用FlinkServer将Kafka数据写入到Doris中,和Doris数据和Kafka数据的Lookup Join操作指导。 前提条件 集群中已安装Doris、HDFS、Yarn、Flink和Kafka服务。 待连接Do

    来自:帮助中心

    查看更多 →

  • 使用curl命令操作OpenTSDB

    使用curl命令操作OpenTSDB 写入数据 例如,录入一个指标名称为testdata,时间戳为1524900185,值为true,标签为key,value的指标数据。 curl -ki -X POST -d '{"metric":"testdata", "timestamp":1524900185

    来自:帮助中心

    查看更多 →

  • MRS 1.7.1.6补丁说明

    x之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明

    来自:帮助中心

    查看更多 →

  • Kafka用户权限说明

    同步”进行IAM用户同步)。 MRS 3.x后续版本,登录 FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。

    来自:帮助中心

    查看更多 →

  • 使用COPY命令导出导入数据

    使用COPY命令导出导入数据 COPY是cqlsh中的逻辑导出导入命令,包括COPY TO和COPY FROM两个命令。 COPY TO支持将数据从表中导出到csv、parquet、orc格式的文件中。 导出文件格式为csv时,需要每行都写入目标文件中的一行,其中的字段由定界符分隔。

    来自:帮助中心

    查看更多 →

  • 使用dnf或yum命令升级

    使用dnf或yum命令升级 本节介绍HCE1.1以上版本的RPM包升级和回退操作。dnf和yum命令使用方法相同,本节以dnf命令为例,HCE 1.1用yum的相同命令执行。 Huawei Cloud EulerOS 2.0之后版本支持yum和dnf命令。 Huawei Cloud

    来自:帮助中心

    查看更多 →

  • 如何使用MapReduce命令

    如何使用MapReduce命令 命令含义 对大数据集执行map-reduce操作。 如何启用MapReduce命令 MapReduce命令由DDS参数模板参数“security.javascriptEnabled”控制,默认值为“false”,表示mapreduce和group命

    来自:帮助中心

    查看更多 →

  • pip介绍及常用命令

    pip介绍常用命令 pip常用命令如下: pip --help#获取帮助 pip install SomePackage==XXXX #指定版本安装 pip install SomePackage #最新版本安装 pip uninstall SomePackage #卸载软件版本

    来自:帮助中心

    查看更多 →

  • Sqoop常用命令及参数介绍

    Sqoop常用命令参数介绍 更多Sqoop命令参数请参考Sqoop官方文档:https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群

    来自:帮助中心

    查看更多 →

  • 使用开源Kafka触发器

    使用开源Kafka触发器 本节介绍创建开源Kafka(OPENSOURCEKAFKA)触发器,供用户了解开源Kafka触发器的使用方法。 使用开源Kafka触发器后,FunctionGraph会定期轮询开源Kafka指定Topic下的新消息,FunctionGraph将轮询得到的消息作为参数传递来调用函数。

    来自:帮助中心

    查看更多 →

  • 通过Spark Streaming作业消费Kafka数据

    操作流程 本实践操作流程如下所示: 步骤1:创建MRS集群:创建一个包含有Spark2x、Kafka组件的MRS集群。 步骤2:准备应用程序:准备用于进行分析的源数据程序。 步骤3:上传jar包源数据:将相关程序和数据上传至MRS集群内。 步骤4:运行作业并查看结果:运行程序并查看数据分析结果。

    来自:帮助中心

    查看更多 →

  • 使用Kafka客户端SSL加密

    使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前,必须要保证服务端SSL对应服务功能已经开启(服务端参数“ssl.mode.enable”设置为“true”)。 SSL功能需要配合API进行使用,可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能

    来自:帮助中心

    查看更多 →

  • 使用客户端连接Kafka(关闭SASL)

    如果Kafka实例未开启自动创建Topic功能,在连接实例前,请先创建Topic,否则会连接失败。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。

    来自:帮助中心

    查看更多 →

  • Kafka同步Kafka

    Kafka同步Kafka 当前仅支持华南-广州、华东-上海一。 前提条件 业务有自己的源Kafka和目标Kafka。 源Kafka和目标Kafka实例支持的版本:目前支持2.7以上,后续支持版本会持续更新。 源Kafka和目标Kafka实例的规格、存储空间需保持一致。 确保vpc、子网、kafka等资源充足。

    来自:帮助中心

    查看更多 →

  • 在Notebook中使用Moxing命令

    在Notebook中使用Moxing命令 MoXing Framework功能介绍 Notebook中快速使用MoXing mox.file与本地接口的对应关系和切换 MoXing常用操作的样例代码 MoXing进阶用法的样例代码 父主题: 使用Notebook进行AI开发调试

    来自:帮助中心

    查看更多 →

  • 使用Kafka客户端SSL加密

    使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前,必须要保证服务端SSL对应服务功能已经开启(服务端参数“ssl.mode.enable”设置为“true”)。 SSL功能需要配合API进行使用,可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了