中软国际数据治理专业服务解决方案实践

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

载的指标数据。 karmada-metrics-adapter将计算的指标数据返回至HPA Controller。 HPA Controller基于返回的指标数据计算所需的Pod扩缩数量，并保持负载伸缩的稳定性。 图1 FederatedHPA工作原理 如何计算指标数据？ 指标数

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

还原DBService HA模块的SSL配置 操作场景 本任务将对安装DBService的集群进行还原DBService服务HA模块SSL的操作。 前提条件 DBService服务HA模块已开启SSL配置。 检查DBService服务HA模块是否开启SSL配置： 查看“$BIGD

查看更多 →

工作负载伸缩原理 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。

查看更多 →

y及结束RowKey等信息。 元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。 图4 元数据表和用户表的映射关系 数据操作流程 HBase数据操作流程如图 数据操作流程所示。 图5 数据操作流程 对HBase进行增、删、改、查数据操作时，HBase Client首

查看更多 →

参考Hive应用开发。 元数据存储：Hive将元数据存储在数据库中，如MySQL、Derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志

查看更多 →

op集群（ MRS ）的Hive、Hudi数据的交互式快速查询场景。 HetuEngine跨源功能简介 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

丰富的Metrics（度量数据），目前已经基本是Kubernetes的标准监控方案。 Metrics Server是Kubernetes集群范围资源使用数据的聚合器。Metrics Server从kubelet公开的Summary API中采集度量数据，能够收集包括了Pod、No

查看更多 →

其他 堡垒机 系统。 系统配置备份仅备份系统配置参数，不能备份运维产生的系统数据，更多系统数据备份说明，请参见数据维护。 若您的系统是HA实例或者需要将您的备份数据导入HA实例，详情请参见云堡垒机如何将备份数据导入到主备实例中。 前提条件 已获取“系统”模块管理权限。 备份系统配置 登录堡垒机系统。

查看更多 →

APP认证工作原理 APP认证流程 构造规范请求。 将待发送的请求内容按照与APIC后台约定的规则组装，确保客户端签名、APIC后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTT

查看更多 →

检查和校验后，执行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

Cassandra数据库可以同时为用户业务提供服务。当一个数据中心发生故障而另一个数据中心正常运行时，可以通过业务层的调度将故障区域的业务切换到正常区域，因为配置了异地双活，您可以在数据中心运行正常的区域继续处理数据。在业务不中断的前提下实现故障场景下业务的快速恢复，保证了故障场景下业务的连续性。

查看更多 →

GaussDB (for MySQL)备份原理 云数据库 GaussDB(for MySQL)基于华为最新一代DFV存储，采用计算与存储分离架构，计算层用于给外部提供服务，管理日志信息，存储层存储数据信息。存储层分为Common Log节点和Slice Store节点，Common

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据，并且会周期性地向NameNode报告该DataNode的数据存放情况。 JournalNode HA集群下，用于同步主备NameNode之间的元数据信息。 ZKFC Z

查看更多 →

MemArtsCC基本原理 MemArtsCC是一个分布式计算侧缓存系统。计算任务运行在计算集群的虚拟机（Virtual Machine, VM）上，数据存储在远端的对象存储（Object Storage Service, OBS）集群中。由于远端OBS的数据访问速度限制，VM上的

查看更多 →