Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 Flink技术栈如图1所示。 图1 Flink技术栈 Flink在当前版本中重点构建如下特性： DataStream Checkpoint 窗口 Job Pipeline 配置表 其他特性继承开源社区，不做增强，具体请参考：https://ci

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

与Hadoop集成：Spark能够直接运行于Hadoop的集群，并且能够直接读取现存的Hadoop数据。 MRS 服务的Spark组件具有以下优势： MRS服务的Spark Streaming组件支持数据实时处理能力而非定时触发。 MRS服务的Spark组件支持Structured Streaming，支持DataSet

查看更多 →

Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语

查看更多 →

MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java

查看更多 →

APP认证工作原理 APP认证流程 构造规范请求。 将待发送的请求内容按照与APIC后台约定的规则组装，确保客户端签名、APIC后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTT

查看更多 →

GaussDB (for MySQL)备份原理 云数据库 GaussDB(for MySQL)基于华为最新一代DFV存储，采用计算与存储分离架构，计算层用于给外部提供服务，管理日志信息，存储层存储数据信息。存储层分为Common Log节点和Slice Store节点，Common

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

继续推送增量变更数据。 实时灾备基本原理 实时灾备的功能是通过实时复制技术实现两个数据库的数据容灾，底层技术原理和实时迁移是一致的，差异点主要是实时灾备支持正向数据同步和反向数据同步，且实时灾备为实例级别灾备，不支持选择库表。 录制回放基本原理 录制回放主要分为录制、回放两个阶段

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决方案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →

HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件

查看更多 →

MemArtsCC基本原理 MemArtsCC是一款面向存算分离架构的分布式计算侧缓存系统，采用极轻量化的架构设计，部署在计算侧的集群中，通过智能预取远端对象存储上的数据提供高速缓存能力，从而来加速计算任务执行。 MemArtsCC在存储层面将远端对象存储(OBS)上的对象进行切

查看更多 →

Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满

查看更多 →

工作负载伸缩原理 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。

查看更多 →

工作负载伸缩原理 CCE支持多种工作负载伸缩方式，策略对比如下： 表1 弹性伸缩策略对比 伸缩策略 HPA策略 CronHPA策略 CustomedHPA策略 VPA策略 AHPA策略 策略介绍 Kubernetes中实现POD水平自动伸缩的功能，即Horizontal Pod Autoscaling。

查看更多 →

HBase基本原理 数据存储使用HBase来承接，HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息，请参见：https://hbase

查看更多 →

Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍，请参见：https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka Broker收到消息后，会持久化到磁盘，同时，To

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

例如员工中有负责软件开发的人员，需要具有MRS服务的使用权限，但是不能拥有删除MRS集群等高危操作的权限，那么可以使用IAM为开发人员创建用户，通过授予仅能使用MRS，但是不允许删除MRS集群的权限策略，控制MRS集群资源的使用范围。 创建用户并授权使用MRS IAM用户同步 MRS支持将绑定MRS相关策略的

查看更多 →

String 技术栈类型：Nodejs、Java、Tomcat、Python、Docker、Php。 version String 技术栈版本。 spec Object 技术栈相关参数，请参考表4。 system Integer 是否是系统技术栈。 1：系统技术栈。 0：自定义技术栈。 status

查看更多 →