个队列，再选择队列上的一个应用，并尝试在这个应用上分配资源。若因参数限制导致分配失败，将选择下一个应用。选择一个应用后，调度器会处理此应用的资源申请。其优先级从高到低依次为：本地资源的申请、同机架的申请，任意机器的申请。 图2 资源分配模型 YARN原理 新的Hadoop Map

查看更多 →

：t2-t1，因为经过t2-t1的时间后只读节点才能读取主节点t1时刻的数据。 只读节点visible lsn的推进 根据延迟的计算方式，产生延迟的关键点在于只读节点visible lsn推进速度的快慢。 只读节点推进visible lsn的工作流程如下： 只读节点通过与主节点通

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

您可以选择通过华为云或者其他云平台搭建您的网站，如果您选择在华为云搭建您的网站，网站搭建从搭建方式、网站类型、操作系统等维度指导您完成网站的搭建。 备案网站 如果您的网站部署在华为云中国站，则可以通过华为云的备案中心进行备案，详细内容请参见什么是备案。 中信部规定，网站的 域名 和 服务器 IP需要进行

查看更多 →

，保证数据的完整性和一致性。 第三阶段：增量数据迁移。全量任务结束后，增量迁移任务启动，此时会从全量开始的增量数据持续的解析转换和回放，直到追平当前的增量数据。 第四阶段：为了防止触发器、事件在迁移阶段对于数据的操作，在结束任务阶段再迁移触发器、事件。 全量数据迁移的底层模块主要原理：

查看更多 →

一个数据中心正常运行时，可以通过业务层的调度将故障区域的业务切换到正常区域，因为配置了异地双活，您可以在数据中心运行正常的区域继续处理数据。在业务不中断的前提下实现故障场景下业务的快速恢复，保证了故障场景下业务的连续性。 配置异地双活功能的具体操作请参见搭建双活关系。 父主题： 异地双活

查看更多 →

Store节点存储数据信息。 图1 备份原理 如图1所示， GaussDB (for MySQL)实例的备份是由计算层和存储层各自完成的。 计算层的主节点读取存储层的Common Log节点的日志信息，通过主节点备份到 对象存储服务 (OBS)中。 计算层的主节点向存储层的Slice Store节点发送命令备份数据信息，通过Slice

查看更多 →

HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件

查看更多 →

常需要等待数据而拖慢任务的执行。因此，计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提出MemArts分布式客户端缓存，MemArts部署在计算侧的VM中，通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1

查看更多 →

和被更新的数据进行标记删除，同时将新的数据写入新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出的数据就都是最新的数据，消除了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型

查看更多 →

定义Column的数量和类型。HBase中表的列非常稀疏，不同行的列的个数和类型都可以不同。此外，每个CF都有独立的生存周期（TTL）。可以只对行上锁，对行的操作始终是原始的。 Column 与传统的数据库类似，HBase的表中也有列的概念，列用于表示相同类型的数据。 RegionServer数据存储

查看更多 →

L、Derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，图1为Hive的结构概图。 图1 Hive结构

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据

查看更多 →

HetuEngine的客户端，使用者通过客户端向服务端提交查询请求，然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理，用作计算实例的资源管理校验，健康监控与自动维护等。 HSConsole 对外提供数据源信息管理，计算实例管理，自动化任务的查看等功能的可视化操作界面和RESTful接口。

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

我的工作台 查看我的工作台 个人日报管理 编辑我的工作项 父主题： 项目管理

查看更多 →

Server：使用sa账号。 采集原理：连接数据库，基于数据库的查询语句进行采集。 中间件采集 权限要求： Redis：使用具有基本访问权限的普通账号即可。 Kafka：需要具备访问所有topic的权限以及对topic的容量等信息进行访问的权限。 采集原理：利用Java语言编写的应用程序，集成对应中间件的SDK（Software

查看更多 →

化执行。SIMD的全称是Single Instruction Multiple Data，即用单条指令操作多条数据，通过数据并行以提高性能的一种实现方式 ( 其他的还有指令级并行和线程级并行 )，它的原理是在CPU寄存器层面实现数据的并行操作。 关系模型与SQL查询 ClickH

查看更多 →

图1展示了使用IoTDB套件的全部组件形成的整体应用架构，IoTDB特指其中的时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导

查看更多 →

编辑我的工作项 点击【编辑】按钮 图1 我的工作台 编辑工作项信息，点击【确定】 图2 编辑工作项 选择工具后，计划列表中的此工作项会显示对应的工具，点击工具可以直接跳转到工具详情。 选择进度条会自动生成对应的历史进展。 父主题： 我的工作台

查看更多 →

查看我的工作台 右上方显示各种状态下的任务数。 我的工作项列表可以根据序号、完成时间、状态排序，也可以同时根据今日全部完成、今日未完成、全部完成、全部未完成等状态排序。 右侧“工具订阅“显示工具库内已订阅的工具。 右侧“周边协同“显示我的工作项中其他的共同责任人。 图1 我的工作台 父主题：

查看更多 →