增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 关键操作指导

查看更多 →

背景与原理（BPM） 工单管理模块中的工单场景业务编排是通过AstroZero的流程编排BPM（Business Process Management）功能实现的，通过在前端页面调用BPM完成工单流转，即客服人员创单，派单员派发工单，维修工程师处理工单的全过程。 开发BPM即是对

查看更多 →

增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 进阶实践

查看更多 →

备份原理及方案 DDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 备份原理 集群实例 集群实例由dds mongos（路由）、Config（配置）和Shard（分片）组件构成。其中，Confi

查看更多 →

迁移作业原理 数据迁移模型 CDM 数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →

背景和原理（对象） AstroZero提供的数据对象（Object）定义功能，对应传统方式开发业务系统中的创建数据库表。每个Object对应一张数据库表，用于保存业务系统需要的配置数据和业务数据。 对象用于存储组织或者业务特有的数据，可理解为数据库中的数据表（逻辑表，系统实际存储

查看更多 →

Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：

查看更多 →

节点伸缩原理 HPA是针对Pod级别的，可以根据负载指标动态调整副本数量，但是如果集群的资源不足，新的副本无法运行的情况下，就只能对集群进行扩容。 CCE集群弹性引擎是Kubernetes提供的集群节点弹性伸缩组件，根据Pod调度状态及资源使用情况对集群的节点进行自动扩容缩容，同

查看更多 →

备份原理及方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 云数据库RDS通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比

查看更多 →

展出的Pod调度到具有更多资源的集群，以解决单个集群的资源限制，提高故障发生时的恢复能力。 FederatedHPA工作原理 FederatedHPA的工作原理如图1，实现流程如下： HPA Controller通过API定期查询工作负载的指标数据。 karmada-apiser

查看更多 →

Spark基本原理 Spark简介 Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速的开发大数据应用，对数据进行离线处理、流式处理、交互式分析等。 Spark提供了一个快速的计算、写入及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和 MRS 大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

易于调试：CQL提供了详细的异常码说明，降低了用户对各种错误的处理难度。 关于Storm的架构和详细原理介绍，请参见：https://storm.apache.org/。 Storm原理 基本概念 表1 概念介绍 概念 说明 Tuple Storm核心数据结构，是消息传递的基本单元，

查看更多 →

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

背景及原理（服务编排） AstroZero的服务编排，支持对逻辑判断组件、数据处理组件，以及脚本、子服务编排、商业对象等进行可视化组合编排，实现丰富的业务功能。 了解服务编排 在传统的开发中程序员一般是基于代码进行开发，程序员需要学习内容较多，开发效率相对低一些，开发门槛也高。A

查看更多 →

工作负载伸缩原理 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →