分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka主题数据存储时间 更多内容
  • 修改Kafka消息老化时间

    修改Kafka消息老化时间 老化时间消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。删除的消息,无法被消费。 Topic老化时间默认为72小时,创建Topic成功之后,您可以根据业务需要修改Topic的老化时间。修改老化时间,不会影响业务。 修改老化时间可以通过以下方式实现:

    来自:帮助中心

    查看更多 →

  • Kafka数据消费概述

    数据)、日志收集等大量数据的互联网服务数据收集场景。 Kafka结构 生产者(Producer)将消息发布到Kafka主题(Topic)上,消费者(Consumer)订阅这些主题并消费这些消息。在Kafka集群上一个服务器称为一个Broker。对于每一个主题Kafka集群保留

    来自:帮助中心

    查看更多 →

  • 分布式消息服务Kafka版

    先购买Kafka实例。Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。 支持区域: 全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前,需要先连接Kafka实例。 创建Kafka实例时,支持开启或者关闭SASL_SSL

    来自:帮助中心

    查看更多 →

  • 主题管理

    主题管理 什么是主题 如何管理主题成员 父主题: 圆桌

    来自:帮助中心

    查看更多 →

  • 创建主题

    创建主题 根据业务需求创建不同类型的主题主题创建成功后,团队成员可以在主题内互动交流与业务协作。 操作步骤 登录圆桌。 在左侧栏“主题列表”处单击,弹出“创建主题”弹窗。 您也可以在顶部导航栏全局搜索框右侧单击。 图1 创建主题 设置主题基本信息,如表1,单击“创建”。 表1 设置主题基本信息

    来自:帮助中心

    查看更多 →

  • 置顶主题

    置顶主题成功后,您可以直接单击左侧导航栏的主题名称,进入主题页面。 图1 置顶主题 取消置顶主题 在圆桌左侧导航栏选择“更多主题”,进入主题列表。 在“置顶主题”页签,单击主题卡片右下角已打开的钉选图标,关闭置顶功能,主题将自动从左侧导航栏消失。如图2。 图2 取消置顶主题主题主题列表

    来自:帮助中心

    查看更多 →

  • 主题设计

    别名 主题对象的别名。 描述 主题对象的描述信息。对于最低层级主题,此项参数为必选。在导入文件中应补充最低层级主题的描述信息。 数据owner部门 数据的拥有者所在部门。对于最低层级主题,此项参数为必选。在导入文件中应补充最低层级主题数据owner部门信息。 *数据owner人员

    来自:帮助中心

    查看更多 →

  • 主题操作

    主题操作 权限 对应API接口 授权项 IAM项目 企业项目 创建主题 POST /v2/{project_id}/notifications/topics smn:topic:create √ √ 查询主题 GET /v2/{project_id}/notifications/topics

    来自:帮助中心

    查看更多 →

  • 设置主题

    设置主题 前提条件 用户具有主题设置功能权限 操作步骤 登录ISDP系统,选择“公共平台->系统配置->系统设置->主题设置”并进入,点击“预览”可查看主题应用的样式图。 图1 预览主题 使用主题 主题右上角的代表当前主题,点击其他主题右下角的“使用”即切换到新主题 图2 使用主题

    来自:帮助中心

    查看更多 →

  • 订阅主题

    订阅主题 操作场景 要接收发布至主题的消息,您必须向该主题添加订阅者。 添加订阅 登录管理控制台。 在管理控制台左上角单击图标,选择区域和项目。 在页面左上角单击图标,选择“管理与监管” > “消息通知服务”。 进入消息通知服务页面。 在左侧导航栏,选择“主题管理” > “主题”。

    来自:帮助中心

    查看更多 →

  • 主题管理

    主题管理 Kafka生产消息 Kafka实例创建Topic Kafka实例查询Topic 修改Kafka实例Topic Kafka实例批量删除Topic 查询Topic的分区列表 查询Topic的当前生产者列表 查询Kafka实例Topic详细信息 父主题: API V2(推荐)

    来自:帮助中心

    查看更多 →

  • 批量设置通道存储时间策略

    批量设置通道存储时间策略 功能介绍 批量设置通道存储时间策略。一次最多设置100个通道。 URI PUT /v1/{user_id}/devices/channels/time-policy 表1 路径参数 参数 是否必选 参数类型 描述 user_id 是 String 用户ID:由数字组成,长度范围[15

    来自:帮助中心

    查看更多 →

  • 数据分布式存储

    数据分布式存储 DWS采用水平分表的方式,将业务数据表的元组分散存储到各个节点内,该优势在于,查询中通过查询条件过滤不必要的数据,快速定位到数据存储位置,可极大提升数据库性能。 水平分表方式将一个数据表内的数据,按合适分布策略分散存储在多个节点内,DWS支持如表1所示的数据分布策略。用户可在CREATE

    来自:帮助中心

    查看更多 →

  • 热数据存储和冷数据存储的区别?

    数据存储和冷数据存储的区别? 热数据存储和冷数据存储最大的区别在于存储介质不同: 热数据存储是直接将频繁被查询或更新,对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新,偶尔被查询,对访问的响应时间要求不高的冷数据存储在OBS中。 因为其存储介质的不同,决

    来自:帮助中心

    查看更多 →

  • 如何选择Kafka实例的存储空间?

    如何选择Kafka实例的存储空间? 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 +

    来自:帮助中心

    查看更多 →

  • 创建冷数据存储

    创建冷数据存储 功能介绍 创建冷数据存储。 接口约束 该接口仅支持GeminiDB Influx数据库集群实例和GeminiDB Influx数据库单节点实例。 该接口支持包周期和按需实例。 调试 您可以在 API Explorer 中调试该接口,支持自动认证鉴权。API Explo

    来自:帮助中心

    查看更多 →

  • 扩容冷数据存储

    扩容冷数据存储 功能介绍 扩容冷数据存储。 接口约束 该接口仅支持GeminiDB Influx数据库集群实例和GeminiDB Influx数据库单节点实例。 该接口支持包周期和按需实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explo

    来自:帮助中心

    查看更多 →

  • 配置Kafka数据均衡工具

    配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 本章节内容适用于 MRS 3.x及后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据 前提条件 MR

    来自:帮助中心

    查看更多 →

  • 配置Kafka数据均衡工具

    配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。

    来自:帮助中心

    查看更多 →

  • 调整主题顺序

    调整主题顺序 主题创建成功后,在圆桌左侧栏支持调整主题上下位置。 操作步骤 登录圆桌。 在左侧栏“主题列表”模块选择主题,直接拖拽主题到具体位置即可。 图1 调整主题顺序 父主题主题列表

    来自:帮助中心

    查看更多 →

  • 查看主题内容

    查看主题内容 主题团队创建成功后,在主题详情页可以查看主题基本信息、主题成员等内容。 操作步骤 登录圆桌。 在左侧栏选择主题。 单击左上角主题图标,进入主题详情页。 在主题详情页,可以查看以下内容。 在“成员”页签查看主题成员。 图1 查看主题成员 在“设置”页签的“设置基本信息

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了