tate Backend，State可以存储在内存上或RocksDB等上，并支持异步以及增量的Checkpoint机制。 精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。

查看更多 →

周期内的所有工作。包括： 与RM调度器协商以获取资源。 将得到的资源进一步分配给内部的任务（资源的二次分配）。 与NM通信以启动/停止任务。 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 开源容量调度器Capacity Scheduler原理 Capacity

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

背景及原理（服务编排） AstroZero的服务编排，支持对逻辑判断组件、数据处理组件，以及脚本、子服务编排、商业对象等进行可视化组合编排，实现丰富的业务功能。 了解服务编排 在传统的开发中程序员一般是基于代码进行开发，程序员需要学习内容较多，开发效率相对低一些，开发门槛也高。A

查看更多 →

录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 产品介绍 云图说 立即使用 成长地图 由浅入深，带您玩转 CTS 01 了解 帮助您快速了解 云审计 服务的产品简介、工作原理和使用场景等内容。 产品介绍 什么是云审计服务 工作原理 使用场景 基本概念

查看更多 →

QL为binlog），经过解析转换为标准的日志格式存储在本地。 日志回放模块：日志回放模块根据日志读取模块转换的标准格式增量日志，根据用户的选择策略进行加工过滤，将增量数据同步到目标数据库。 备份迁移基本原理 图3 备份迁移原理 备份迁移实现SQLServer数据库的离线迁移功能

查看更多 →

MySQL)备份原理 云数据库 GaussDB (for MySQL)基于华为最新一代DFV存储，采用计算与存储分离架构，计算层用于给外部提供服务，管理日志信息，存储层存储数据信息。存储层分为Common Log节点和Slice Store节点，Common Log节点存储日志信息，Slice

查看更多 →

图3 HDFS架构 MRS 支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度，有助于扩容节点或扩容磁盘后的HDFS存储性能提升。 关于Hadoop的架构和详细原理介绍，请参见：http://hadoop.apache.org/。 父主题： HDFS

查看更多 →

MemArtsCC基本原理 MemArtsCC是一个分布式计算侧缓存系统。计算任务运行在计算集群的虚拟机（Virtual Machine, VM）上，数据存储在远端的对象存储（Object Storage Service, OBS）集群中。由于远端OBS的数据访问速度限制，VM上

查看更多 →

客户端工具来访问Doris，并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。 Leader Leader为Follower组中选举出来的一种角色。 Follower 一条

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决方案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →

概述 对象存储迁移服务（ OMS ）的原理主要基于数据复制、同步和传输技术的综合运用，旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题： 迁移工作原理

查看更多 →

RegionServer数据存储 RegionServer主要负责管理由HMaster分配的Region，RegionServer的数据存储结构如图 RegionServer的数据存储结构所示。 图3 RegionServer的数据存储结构 图 RegionServer的数据存储结构中Region的各部分的说明如表

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →

Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍，请参见：https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka Broker收到消息后，会持久化到磁盘，同时，To

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

示。 图1 冷热数据分层功能原理 OBS对象存储支持海量数据存储，并提供安全可靠的、低成本的分布式存储服务。Doris主要基于OBS实现冷热分离功能，如图2所示。 图2 Doris冷热分离原理 父主题： Doris冷热分离

查看更多 →

迁移流程 对象存储迁移服务 OMS的迁移工作原理图，如图1所示。 图1 迁移工作原理图 迁移工作流程说明： OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。

查看更多 →

专属分布式存储三副本技术的主要特点如下： 存储系统自动确保3个数据副本分布在不同 服务器 的不同物理磁盘上，单个硬件设备的故障不会影响业务。 存储系统确保3个数据副本之间的数据强一致性。 例如，对于服务器A的物理磁盘A上的数据块P1，系统将它的数据备份为服务器B的物理磁盘B上的P1''和服务器C的物理磁盘C上的

查看更多 →