APIC收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方式进行签名与认证，首先需要规范请求内容，然后再进行签名。客户端与APIC使用相同的请求规范，可以确

查看更多 →

，保证数据的完整性和一致性。 第三阶段：增量数据迁移。全量任务结束后，增量迁移任务启动，此时会从全量开始的增量数据持续的解析转换和回放，直到追平当前的增量数据。 第四阶段：为了防止触发器、事件在迁移阶段对于数据的操作，在结束任务阶段再迁移触发器、事件。 全量数据迁移的底层模块主要原理：

查看更多 →

HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件

查看更多 →

立应用软件的开发工具的集合。 Database pg数据库。 WebApp（Oozie） WebApp（Oozie）即Oozie server，可以用内置的Tomcat容器，也可以用外部的，记录的信息比如日志等放在pg数据库中。 Tomcat Tomcat 服务器 是免费的开放源代码的Web应用服务器。

查看更多 →

和被更新的数据进行标记删除，同时将新的数据写入新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出的数据就都是最新的数据，消除了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型

查看更多 →

一个数据中心正常运行时，可以通过业务层的调度将故障区域的业务切换到正常区域，因为配置了异地双活，您可以在数据中心运行正常的区域继续处理数据。在业务不中断的前提下实现故障场景下业务的快速恢复，保证了故障场景下业务的连续性。 配置异地双活功能的具体操作请参见搭建双活关系。 父主题： 异地双活

查看更多 →

MySQL原生的DDL工具 Copy算法 按照原表定义创建一个新的临时表。 对原表加写锁（禁止DML）。 在1建立的临时表执行DDL。 将原表中的数据copy到临时表。 释放原表的写锁。 将原表删除，并将临时表重命名为原表。 采用copy方式期间需要锁表，禁止DML写操作。当Lock

查看更多 →

stroZero的服务编排功能，类似于编程中一段有流程、条件处理、判断逻辑的程序。这段程序有输入参数和输出参数、可以独立成为一个对外调用的方法。同时，在程序内部，也可以调用其他的方法。 AstroZero中的服务编排是将原来基于代码编程改变为用图形化，拖拉拽的方式去编程。如图1所

查看更多 →

API网关收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方式进行签名与认证，首先需要规范请求内容，然后再进行签名。客户端与API网关使用相同的请求规范，可以

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM 在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。

查看更多 →

要对数据或者日志的更新进行备份来保障容错性。这样就会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容错

查看更多 →

过界面图形化的方式查看ZooKeeper。 有关Hue的详细信息，请参见：http://gethue.com/。 Hue结构 Hue是建立在Django Python（开放源代码的Web应用框架）的Web框架上的Web应用程序，采用了MTV（模型M-模板T-视图V）的软件设计模式。

查看更多 →

Storm核心数据结构，是消息传递的基本单元，不可变Key-Value对，这些Tuple会以一种分布式的方式进行创建和处理。 Stream Storm的关键抽象，是一个无边界的连续Tuple序列。 Topology 在Storm平台上运行的一个实时应用程序，由各个组件（Component）组成的一个DAG（Directed

查看更多 →

精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分，对于实时流处理应用来说，基于时间语义的窗口聚合、检

查看更多 →

个队列，再选择队列上的一个应用，并尝试在这个应用上分配资源。若因参数限制导致分配失败，将选择下一个应用。选择一个应用后，调度器会处理此应用的资源申请。其优先级从高到低依次为：本地资源的申请、同机架的申请，任意机器的申请。 图2 资源分配模型 YARN原理 新的Hadoop Map

查看更多 →

当前Pod数与期望Pod数的计算方法如下： 当前Pod数 = 所有集群中状态为Ready的Pod数量 在计算期望Pod数时，HPA Controller会选择最近5分钟内计算所得的Pod数的最大值，以避免之前的自动扩缩操作还未完成，就直接执行新的扩缩的情况。 期望Pod数 = 当前Pod数

查看更多 →

连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 获取记录 获取增量记录 添加记录 更新记录

查看更多 →

Mysql 概述 环境准备 使用场景 使用指南 配置项说明 父主题： Mas-GO-SDK使用手册

查看更多 →

必填 说明 数据库表名 是 要更新的MySQL的表名称。 params 是 待更新的列以及其列的值，以key:value的形式表示一列的名称以及值。 更新条件 是 更新的条件。 输出参数 该执行动作无输出参数。 数据库删除操作 MySQL删除操作 输入参数 用户配置发布消息执行动作，相关参数说明表6所示。

查看更多 →

异常状态下的任务仍然会计费，而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后，异常且超时的任务将会自动结束，以免产生不必要的费用。 回放任务提交后，您可在“录制回放管理”页面，查看并管理自己的任务。 您可查看任务提交后的状态，状态请参见任务状态说明。 在任务列表的右上角，单击刷新列表，可查看到最新的任务状态。

查看更多 →

异常状态下的任务仍然会计费，而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后，异常且超时的任务将会自动结束，以免产生不必要的费用。 回放任务提交后，您可在“录制回放管理”页面，查看并管理自己的任务。 您可查看任务提交后的状态，状态请参见任务状态说明。 在任务列表的右上角，单击刷新列表，可查看到最新的任务状态。

查看更多 →