增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 数据迁移进阶实践

查看更多 →

份后更新的数据进行备份。 备份原理 单机实例 采用单个数据库节点部署架构。与主流的主备实例相比，它只包含一个节点，但具有高性价比。备份触发后，从主库备份数据并以压缩包的形式存储在 对象存储服务 上，不会占用实例的磁盘空间。 主备实例 采用一主一备的经典高可用架构，主备实例的每个节点的

查看更多 →

增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 关键操作指导

查看更多 →

DDoS调度中心的工作原理是什么？ 购买DDoS原生防护-全力防基础版时选择开启联动防护后，通过配置DDoS阶梯调度策略，可以自动联动调度DDoS高防对DDoS原生防护-全力防基础版防护的云资源进行防护，防御海量攻击。 配置DDoS阶梯调度后，当发生海量攻击时，系统联动调度DDo

查看更多 →

API网关收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方式进行签名与认证，首先需要规范请求内容，然后再进行签名。客户端与API网关使用相同的请求规范，可以

查看更多 →

APIC收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方式进行签名与认证，首先需要规范请求内容，然后再进行签名。客户端与APIC使用相同的请求规范，可以确

查看更多 →

，保证数据的完整性和一致性。 第三阶段：增量数据迁移。全量任务结束后，增量迁移任务启动，此时会从全量开始的增量数据持续的解析转换和回放，直到追平当前的增量数据。 第四阶段：为了防止触发器、事件在迁移阶段对于数据的操作，在结束任务阶段再迁移触发器、事件。 全量数据迁移的底层模块主要原理：

查看更多 →

HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件

查看更多 →

立应用软件的开发工具的集合。 Database pg数据库。 WebApp（Oozie） WebApp（Oozie）即Oozie server，可以用内置的Tomcat容器，也可以用外部的，记录的信息比如日志等放在pg数据库中。 Tomcat Tomcat 服务器 是免费的开放源代码的Web应用服务器。

查看更多 →

和被更新的数据进行标记删除，同时将新的数据写入新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出的数据就都是最新的数据，消除了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型

查看更多 →

一个数据中心正常运行时，可以通过业务层的调度将故障区域的业务切换到正常区域，因为配置了异地双活，您可以在数据中心运行正常的区域继续处理数据。在业务不中断的前提下实现故障场景下业务的快速恢复，保证了故障场景下业务的连续性。 配置异地双活功能的具体操作请参见搭建双活关系。 父主题： 异地双活

查看更多 →

stroZero的服务编排功能，类似于编程中一段有流程、条件处理、判断逻辑的程序。这段程序有输入参数和输出参数、可以独立成为一个对外调用的方法。同时，在程序内部，也可以调用其他的方法。 AstroZero中的服务编排是将原来基于代码编程改变为用图形化，拖拉拽的方式去编程。如图1所

查看更多 →

API网关收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方式进行签名与认证，首先需要规范请求内容，然后再进行签名。客户端与API网关使用相同的请求规范，可以

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM 在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。

查看更多 →

要对数据或者日志的更新进行备份来保障容错性。这样就会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容错

查看更多 →

过界面图形化的方式查看ZooKeeper。 有关Hue的详细信息，请参见：http://gethue.com/。 Hue结构 Hue是建立在Django Python（开放源代码的Web应用框架）的Web框架上的Web应用程序，采用了MTV（模型M-模板T-视图V）的软件设计模式。

查看更多 →

Storm核心数据结构，是消息传递的基本单元，不可变Key-Value对，这些Tuple会以一种分布式的方式进行创建和处理。 Stream Storm的关键抽象，是一个无边界的连续Tuple序列。 Topology 在Storm平台上运行的一个实时应用程序，由各个组件（Component）组成的一个DAG（Directed

查看更多 →

精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分，对于实时流处理应用来说，基于时间语义的窗口聚合、检

查看更多 →

个队列，再选择队列上的一个应用，并尝试在这个应用上分配资源。若因参数限制导致分配失败，将选择下一个应用。选择一个应用后，调度器会处理此应用的资源申请。其优先级从高到低依次为：本地资源的申请、同机架的申请，任意机器的申请。 图2 资源分配模型 YARN原理 新的Hadoop Map

查看更多 →

当前Pod数与期望Pod数的计算方法如下： 当前Pod数 = 所有集群中状态为Ready的Pod数量 在计算期望Pod数时，HPA Controller会选择最近5分钟内计算所得的Pod数的最大值，以避免之前的自动扩缩操作还未完成，就直接执行新的扩缩的情况。 期望Pod数 = 当前Pod数

查看更多 →

上以及Prometheus的发展，开发者已经不满足于CPU和Memory，开发者需要应用自身的业务指标，或者是一些接入层的监控信息，例如：Load Balancer的QPS、网站的实时在线人数等。社区经过思考之后，定义了一套标准的Metrics API，通过聚合API对外提供服务。

查看更多 →