MemArtsCC基本原理 MemArtsCC是一个分布式计算侧缓存系统。计算任务运行在计算集群的虚拟机（Virtual Machine, VM）上，数据存储在远端的对象存储（Object Storage Service, OBS）集群中。由于远端OBS的数据访问速度限制，VM上的计算任务经常

查看更多 →

全量数据迁移的底层模块主要原理： 分片模块：通过优化的分片算法，计算每个表的分片逻辑 抽取模块：根据计算的分片信息并行多任务从源数据库查询数据 回放模块：将抽取模块查询的数据并行多任务插入目标数据库 增量数据迁移的底层实现模块主要原理： 日志读取模块：日志读取模块从源数据库读取原始增量日志

查看更多 →

只读落后自愈技术原理 GaussDB (for MySQL)是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图

查看更多 →

背景及原理（服务编排） AstroZero的服务编排，支持对逻辑判断组件、数据处理组件，以及脚本、子服务编排、商业对象等进行可视化组合编排，实现丰富的业务功能。 了解服务编排 在传统的开发中程序员一般是基于代码进行开发，程序员需要学习内容较多，开发效率相对低一些，开发门槛也高。A

查看更多 →

挖掘，由于Spark是基于内存的计算，很方便处理迭代计算，而数据挖掘的问题通常都是对同一份数据进行迭代计算。除此之外，Spark能够运行于安装Hadoop 2.0 Yarn的集群。之所以Spark能够在保留MapReduce容错性，数据本地化，可扩展性等特性的同时，能够保证性能的

查看更多 →

YARN结构 YARN分层结构的本质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分（计算、内存、带宽等）精心安排给基础NodeManager（YARN的每个节点代理）。ResourceManager还与Application

查看更多 →

编辑、执行SQL/HQL语句；保存、复制、编辑SQL/HQL模板；解释SQL/HQL语句；保存SQL/HQL语句并进行查询。 数据库展示，数据表展示。 支持多种Hadoop存储。 通过Metastore对数据库及表和视图进行增删改查等操作。 如果使用IE浏览器访问Hue界面来执行HQL，由于浏览器存在的功能

查看更多 →

的Task来同时计算，以增强系统的处理能力。 图2 Topology Storm有众多适用场景：实时分析、持续计算、分布式ETL等。Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高 保证无数据丢失 容错性好 易于构建和操控 多语言 Storm作为计算平台，在业务层为用

查看更多 →

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

Controller会比较每种指标变动计算出的Pod扩缩数量，选取Pod变动最大的计算结果进行扩缩。 如何计算Pod扩缩数量？ HPA Controller基于当前指标值和期望指标值来计算扩缩比例，再依据当前Pod数与扩缩比例计算出期望Pod数。当前Pod数与期望Pod数的计算方法如下： 当前Pod数

查看更多 →

HBase基本原理 数据存储使用HBase来承接，HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息，请参见：https://hbase

查看更多 →

开发。 元数据存储：Hive将元数据存储在数据库中，如MySQL、Derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduc

查看更多 →

Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍，请参见：https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka Broker收到消息后，会持久化到磁盘，同时，To

查看更多 →

Coordinator HetuEngine计算实例的管理节点，提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。 Worker HetuEngine计算实例的工作节点，提供数据源数据并行拉取，分布式SQL计算等能力。 HetuEngine应用场景 H

查看更多 →

工作负载伸缩原理 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。

查看更多 →

扩缩容决策算法 HPA controller根据当前指标和期望指标来计算缩放比例，计算公式如下： 期望实例数 = 向上取整[当前实例数 * ( 当前的指标值 / 目标值 )] 例如当前的指标值是200m，目标值是100m，那么按照公式计算期望的实例数就会翻倍。那么在实际过程中，可能会遇到实例数

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

华为云桌面是一种基于云计算（包括边缘计算）的桌面服务。与传统PC和VDI不同，企业无需投入大量的资金和花费数天的部署时间，即可快速构建桌面办公环境。云桌面支持多种登录方式，可让您灵活存取文件及使用应用，实现移动办公。 基本原理 终端用户通过终端设备登录由管理员在云平台的管理控制台中

查看更多 →

MySQL)数据库的安全管理、云DBA智能运维和GaussDB(for MySQL)数据库性能调优以及了解GaussDB(for MySQL)数据库的高级特性，将具备云上数据库管理和运维、云数据库性能调优、云上数据库应用开发等能力，能够胜任云数据库应用开发及云DBA岗位。 提供为期6天的面授培训服务： 每场限16人以内。

查看更多 →