背景和原理（对象） AstroZero提供的数据对象（Object）定义功能，对应传统方式开发业务系统中的创建数据库表。每个Object对应一张数据库表，用于保存业务系统需要的配置数据和业务数据。 对象用于存储组织或者业务特有的数据，可理解为数据库中的数据表（逻辑表，系统实际存储

查看更多 →

背景与原理（BPM） 工单管理模块中的工单场景业务编排是通过AstroZero的流程编排BPM（Business Process Management）功能实现的，通过在前端页面调用BPM完成工单流转，即客服人员创单，派单员派发工单，维修工程师处理工单的全过程。 开发BPM即是对

查看更多 →

备份原理及方案 DDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 备份原理 集群实例 集群实例由dds mongos（路由）、Config（配置）和Shard（分片）组件构成。其中，Confi

查看更多 →

备份原理及方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 云数据库RDS通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比

查看更多 →

节点伸缩原理 HPA是针对Pod级别的，可以根据负载指标动态调整副本数量，但是如果集群的资源不足，新的副本无法运行的情况下，就只能对集群进行扩容。 CCE集群弹性引擎是Kubernetes提供的集群节点弹性伸缩组件，根据Pod调度状态及资源使用情况对集群的节点进行自动扩容缩容，同

查看更多 →

Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：

查看更多 →

背景和原理（对象） AstroZero提供的数据对象（Object）定义功能，对应传统方式开发业务系统中的创建数据库表。每个Object对应一张数据库表，用于保存业务系统需要的配置数据和业务数据。 对象用于存储组织或者业务特有的数据，可理解为数据库中的数据表（逻辑表，系统实际存储

查看更多 →

增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 进阶实践

查看更多 →

迁移作业原理 数据迁移模型 CDM 数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →

双方达成一致的业务保障目标，客户完成服务付款。 服务范围 本项目华为云 数据仓库 专家服务包括以下一项或多项内容： 华为云数据仓库产品咨询服务 华为云数据仓库平台安装部署规划与实施 数据仓库迁移方案设计与实施支持 基于华为云数据仓库平台的开发支持 本项目华为云数据仓库专家服务不包括以下内容： 应用程序改造、应用程序设计、数据库逻辑结构设计

查看更多 →

热门案例 数据库、数据仓库、 数据湖 、湖仓一体分别是什么？ 无法成功创建数据仓库集群时怎么处理？ 数据仓库和Hadoop大数据平台有什么差别？ 无法连接数据仓库集群时怎么处理？ 可以通过SSH访问DWS集群的节点吗？ 如何选择公有云DWS或者公有云RDS？ 数据在数据仓库服务中是否安全？

查看更多 →

工作负载伸缩原理 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。

查看更多 →

工作负载伸缩原理 CCE支持多种工作负载伸缩方式，策略对比如下： 表1 弹性伸缩策略对比 伸缩策略 HPA策略 CronHPA策略 CustomedHPA策略 策略介绍 Kubernetes中实现POD水平自动伸缩的功能，即Horizontal Pod Autoscaling。

查看更多 →

HBase基本原理 数据存储使用HBase来承接，HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息，请参见：https://hbase

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →

Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍，请参见：https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka Broker收到消息后，会持久化到磁盘，同时，To

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

SQL。 CarbonData结构 CarbonData作为Spark内部数据源运行，不需要额外启动集群节点中的其他进程，CarbonData Engine在Spark Executor进程之中运行。 图2 CarbonData结构 存储在CarbonData Table中的数据

查看更多 →

CDL基本原理 CDL简介 CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。

查看更多 →

StarRocks基本原理 StarRocks简介 StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。

查看更多 →

自动建表原理介绍 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3

查看更多 →