MySQL)备份原理 云数据库 GaussDB (for MySQL)基于华为最新一代DFV存储，采用计算与存储分离架构，计算层用于给外部提供服务，管理日志信息，存储层存储数据信息。存储层分为Common Log节点和Slice Store节点，Common Log节点存储日志信息，Slice

查看更多 →

图3 HDFS架构 MRS 支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度，有助于扩容节点或扩容磁盘后的HDFS存储性能提升。 关于Hadoop的架构和详细原理介绍，请参见：http://hadoop.apache.org/。 父主题： HDFS

查看更多 →

MemArtsCC基本原理 MemArtsCC是一个分布式计算侧缓存系统。计算任务运行在计算集群的虚拟机（Virtual Machine, VM）上，数据存储在远端的对象存储（Object Storage Service, OBS）集群中。由于远端OBS的数据访问速度限制，VM上

查看更多 →

客户端工具来访问Doris，并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。 Leader Leader为Follower组中选举出来的一种角色。 Follower 一条

查看更多 →

主机迁移服务是一种P2V/V2V迁移服务，可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上，从而帮助您轻松地把服务器上的应用和数据迁移到华为云。 图1 主机迁移服务工作原理 主机迁移服务工作原理 主机迁移服务的工作原理如下，其中第1步、第3步和第7步需要用户操作，其余步骤由主机迁移服务自动完成。

查看更多 →

概述 对象存储迁移服务（ OMS ）的原理主要基于数据复制、同步和传输技术的综合运用，旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题： 迁移工作原理

查看更多 →

迁移流程 对象存储迁移服务 OMS的迁移工作原理图，如图1所示。 图1 迁移工作原理图 迁移工作流程说明： OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。

查看更多 →

专属分布式存储三副本技术的主要特点如下： 存储系统自动确保3个数据副本分布在不同 服务器 的不同物理磁盘上，单个硬件设备的故障不会影响业务。 存储系统确保3个数据副本之间的数据强一致性。 例如，对于服务器A的物理磁盘A上的数据块P1，系统将它的数据备份为服务器B的物理磁盘B上的P1''和服务器C的物理磁盘C上的

查看更多 →

示。 图1 冷热数据分层功能原理 OBS对象存储支持海量数据存储，并提供安全可靠的、低成本的分布式存储服务。Doris主要基于OBS实现冷热分离功能，如图2所示。 图2 Doris冷热分离原理 父主题： Doris冷热分离

查看更多 →

存储系统自动确保3个数据副本分布在不同机柜的不同服务器的不同物理磁盘上，单个硬件设备的故障不会影响业务。 存储系统确保3个数据副本之间的数据强一致性。 例如，对于服务器A的物理磁盘A上的数据块P1，系统将它的数据备份为服务器B的物理磁盘B上的P1''和服务器C的物理磁盘C上的P1'，P1、P1'和P1''共同

查看更多 →

第3课：K8s工作负载原理剖析和实践 01:16:19 K8s工作负载原理剖析和实践 Cloud Native Lives 第4课：K8s调度器原理剖析和实践 01:08:29 K8s调度器原理剖析和实践 Cloud Native Lives 第5课：K8s网络模型原理剖析与实践 01:11:04

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

背景及原理（服务编排） AstroZero的服务编排，支持对逻辑判断组件、数据处理组件，以及脚本、子服务编排、商业对象等进行可视化组合编排，实现丰富的业务功能。 了解服务编排 在传统的开发中程序员一般是基于代码进行开发，程序员需要学习内容较多，开发效率相对低一些，开发门槛也高。A

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。

查看更多 →

权限。 手动配置HDFS目录存储策略，配置动态存储策略等操作。 Hive： 编辑、执行SQL/HQL语句；保存、复制、编辑SQL/HQL模板；解释SQL/HQL语句；保存SQL/HQL语句并进行查询。 数据库展示，数据表展示。 支持多种Hadoop存储。 通过Metastore对数据库及表和视图进行增删改查等操作。

查看更多 →

Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker

查看更多 →

tate Backend，State可以存储在内存上或RocksDB等上，并支持异步以及增量的Checkpoint机制。 精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。

查看更多 →

周期内的所有工作。包括： 与RM调度器协商以获取资源。 将得到的资源进一步分配给内部的任务（资源的二次分配）。 与NM通信以启动/停止任务。 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 开源容量调度器Capacity Scheduler原理 Capacity

查看更多 →

E CS 服务器挂载SFS Turbo存储 本小节介绍如何在ECS服务器挂载SFS Turbo存储，挂载完成后可在后续步骤中，将训练所需的数据通过ECS上传至SFS Turbo。 前提条件 已创建SFS Turbo，如果未创建，请参考创建文件系统。 数据及算法已经上传至OBS，如果未

查看更多 →