分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka安装及使用命令 更多内容
  • 同步Kafka数据至ClickHouse

    消费者。 Kafka数据同步至ClickHouse操作示例 参考Kafka客户端使用实践,切换到Kafka客户端安装目录。 以Kafka客户端安装用户,登录Kafka安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。

    来自:帮助中心

    查看更多 →

  • Kafka业务使用流程

    Kafka业务使用流程 使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。 购买Kafka实例 Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。

    来自:帮助中心

    查看更多 →

  • spring-kafka的使用

    spring-kafka使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。

    来自:帮助中心

    查看更多 →

  • 生成边缘集群安装命令

    生成边缘集群安装命令 功能介绍 应用服务器可调用此接口生成边缘集群安装命令。 调试 您可以在 API Explorer 中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id

    来自:帮助中心

    查看更多 →

  • 快速使用Kafka生产消费数据

    快速使用Kafka生产消费数据 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限,然后参考使用Kafka客户端生产消费数据进行操作。 也可以通过登录KafkaUI查看当前集群的消费信息。详细操作请参考使用KafkaUI查看消费信息。

    来自:帮助中心

    查看更多 →

  • MRS 1.7.1.3补丁说明

    以再次提交安装补丁请求,第二次安装补丁会跳过健康检查,进行补丁安装。 误报内容可以通过如下方式确认: 查看并导出检查报告,健康检查结果上只存在这两个主机报错:“安装目录数据目录检查: 目录下文件异常. 请检查安装目录和数据目录下的内容”。 图1 健康检查的结果 安装补丁的影响

    来自:帮助中心

    查看更多 →

  • 如何读取“

    /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通集群跳过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令,获取consumer

    来自:帮助中心

    查看更多 →

  • 管理Kafka Topic中的消息

    管理Kafka Topic中的消息 操作场景 用户可以根据业务需要,使用 MRS 集群客户端,在Kafka主题中产生消息,或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。

    来自:帮助中心

    查看更多 →

  • 使用DML命令更新表

    更多关于DELETE的使用方法,请参见DELETE。 使用TRUNCATE命令快速从表中删除所有的行。 1 openGauss=# TRUNCATE TABLE customer_t; 更多关于TRUNCATE的使用方法,请参见TRUNCATE。 删除表时,DELETE语句每次删除一行数据而TR

    来自:帮助中心

    查看更多 →

  • Storm-Kafka开发指引

    props; } 如果修改了集群 域名 ,在设置Kafka消费者/生产者属性中kerberos域名时,需要将其设置为集群实际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行结果查看 导出本地jar包,请参见打包Strom样例工程应用。

    来自:帮助中心

    查看更多 →

  • 通过SQL命令安装和卸载插件

    PostgreSQL插件是数据库级生效,并不是全局生效。因此创建插件时需要在对应的业务库上进行手动创建。 RDS for PostgreSQL 11以上版本的最新小版本,支持以root用户通过社区的方式来创建(create extension)、删除(drop extension)插件。

    来自:帮助中心

    查看更多 →

  • 使用DML命令更新表

    更多关于DELETE的使用方法,请参见DELETE。 使用TRUNCATE命令快速从表中删除所有的行。 1 openGauss=# TRUNCATE TABLE customer_t; 更多关于TRUNCATE的使用方法,请参见TRUNCATE。 删除表时,DELETE语句每次删除一行数据而TR

    来自:帮助中心

    查看更多 →

  • 迁移Kafka节点内数据

    要)。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况,评估迁移后,不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户,登录已安装Kafka客户端的节点。 执行以下命令,切换到Kafka客户端安装

    来自:帮助中心

    查看更多 →

  • 创建Kafka Topic

    中任意一个的IP地址即可。 使用Kafka主题管理消息,请参见管理Kafka Topic中的消息。 MRS 3.x后续版本:使用kafka-topics.sh创建Kafka主题。 创建主题: Topic的Partition自动划分时,默认根据节点磁盘上已有的Partition

    来自:帮助中心

    查看更多 →

  • Kafka集群部署

    /config/server.properties 父主题: 数据库中间件服务部署

    来自:帮助中心

    查看更多 →

  • CDL数据集成概述

    Opengauss(开源版本) 支持 不支持 2.1.0之后版本 DWS 不支持 支持 8.1.1之后版本 使用约束: 如果需要使用CDL, Kafka服务配置参数“log.cleanup.policy”参数值必须为“delete”。 MRS集群中已安装CDL服务。 CDL仅支持抓取非系统表下的增

    来自:帮助中心

    查看更多 →

  • 查看Kafka磁盘使用量

    分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 图1 查看磁盘的使用量 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx个、使用量达到xx

    来自:帮助中心

    查看更多 →

  • 创建FlinkServer作业写入数据至ClickHouse表

    ickHouse表 本章节适用于MRS 3.1.2之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写,有效避免ClickHouse流量分发问题。 MRS 3.2.0以后版本,根据安全需求,FlinkServer界面

    来自:帮助中心

    查看更多 →

  • 使用控制台连接Kafka

    > 生产消息”,弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。 消息Key 输入消息的Key。 发送到指定分区 选择是否开启消息发送到指定的分区。 关闭:消息基于Key的hash值选择分区。 开启:消息将发送到

    来自:帮助中心

    查看更多 →

  • 安装和使用MPI

    安装使用MPI 弹性云服务器场景支持使用的MPI IB驱动自带的OpenMPI 社区OpenMPI Spectrum MPI Intel MPI Platform MPI 父主题: 弹性云服务器场景典型应用

    来自:帮助中心

    查看更多 →

  • 安装并使用XGPU

    安装使用XGPU 本章节介绍如何安装使用XGPU服务。 约束限制 XGPU功能仅在Nvidia Tesla T4、V100上支持。 HCE OS内核版本为5.10以上版本。 GPU实例已安装535.54.03版本的NVIDIA驱动。 GPU实例已安装18.09.0-300或更高版本的docker。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了