自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

GaussDB (for MySQL)备份原理 云数据库 GaussDB(for MySQL)基于华为最新一代DFV存储，采用计算与存储分离架构，计算层用于给外部提供服务，管理日志信息，存储层存储数据信息。存储层分为Common Log节点和Slice Store节点，Common

查看更多 →

HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件

查看更多 →

MemArtsCC基本原理 MemArtsCC是一个分布式计算侧缓存系统。计算任务运行在计算集群的虚拟机（Virtual Machine, VM）上，数据存储在远端的对象存储（Object Storage Service, OBS）集群中。由于远端OBS的数据访问速度限制，VM上

查看更多 →

Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决方案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →

HBase基本原理 数据存储使用HBase来承接，HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息，请参见：https://hbase

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →

Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍，请参见：https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka Broker收到消息后，会持久化到磁盘，同时，To

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

DNAT规则可以配置 服务器 访问指定网站吗？ 不可以。NAT网关不具备访问控制功能，只能根据规则转送流量。如果需要设置限制访问的网站，您可以配置安全组和ACL规则进行限制。具体请参考安全组配置示例和网络ACL配置示例。 父主题： DNAT规则

查看更多 →

内网采集权限与原理 主机深度采集 权限要求： Windows系统：需要提供具有Administrator权限的账号。 Linux系统：需要提供root账号。 采集原理： Windows系统：通过WinRM服务从Edge访问Windows主机，执行PowerShell脚本采集系统信息。

查看更多 →

ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常

查看更多 →

IoTDB基本原理 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大的提升时序数据的查询性能。通过Raft协议，

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

点，这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍，请参见：https://flume.apache.org/releases/1.9.0.html。 Flume原理 Agent之间的可靠性 Agent之间数据交换流程如图4所示。 图4 Agent数据传输流程

查看更多 →

Manager基本原理 Manager功能 Manager是 MRS 的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

MapReduce基本原理 如需使用MapReduce，请确保MRS集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。

查看更多 →