HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

工作负载伸缩原理 CCE支持多种工作负载伸缩方式，策略对比如下： 表1 弹性伸缩策略对比 伸缩策略 HPA策略 CronHPA策略 CustomedHPA策略 VPA策略 AHPA策略 策略介绍 Kubernetes中实现POD水平自动伸缩的功能，即Horizontal Pod Autoscaling。

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

背景及原理（服务编排） AstroZero的服务编排，支持对逻辑判断组件、数据处理组件，以及脚本、子服务编排、商业对象等进行可视化组合编排，实现丰富的业务功能。 了解服务编排 在传统的开发中程序员一般是基于代码进行开发，程序员需要学习内容较多，开发效率相对低一些，开发门槛也高。A

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

展出的Pod调度到具有更多资源的集群，以解决单个集群的资源限制，提高故障发生时的恢复能力。 FederatedHPA工作原理 FederatedHPA的工作原理如图1，实现流程如下： HPA Controller通过API定期查询工作负载的指标数据。 karmada-apiser

查看更多 →

Distributed Dataset），是Spark的核心概念。指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD的生成： 从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和 MRS 大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

易于调试：CQL提供了详细的异常码说明，降低了用户对各种错误的处理难度。 关于Storm的架构和详细原理介绍，请参见：https://storm.apache.org/。 Storm原理 基本概念 表1 概念介绍 概念 说明 Tuple Storm核心数据结构，是消息传递的基本单元，

查看更多 →

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

，且该任务只能使用该Container中描述的资源。 在YARN中，资源调度器是以层级队列方式组织资源的，这种组织方式有利于资源在不同队列间分配和共享，进而提高集群资源利用率。如下图所示，Superior Scheduler和Capacity Scheduler的核心资源分配模型相同。

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

x。 全局样式 字体：设置图表中文字的字体。 柱子样式 柱子宽度：设置柱子的宽度。 柱子圆角度：设置柱子的圆角度。 系列间距：设置多个系列间的距离。 边距 顶部：设置图表与图层顶部的间距，可以通过输入数值或单击调节。 底部：设置图表与图层顶部的间距，可以通过输入数值或单击调节。

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

x。 全局样式 字体：设置图表中文字的字体。 柱子样式 柱子宽度：设置柱子的宽度。 柱子圆角度：设置柱子的圆角度。 系列间距：设置多个系列间的距离。 图2 柱子样式-折线柱图 边距 顶部：设置图表与图层顶部的间距，可以通过输入数值或单击调节。 底部：设置图表与图层顶部的间距，可以通过输入数值或单击调节。

查看更多 →

自动消耗的Sink，比如：Null Sink。 用于Agent间通信的IPC Sink：Avro。 Sink必须作用于一个确切的Channel。 Flume也可以配置成多个Source、Channel、Sink，如图2所示： 图2 Flume结构图 Flume的可靠性基于Agent间事务的交换，下一个Agent异

查看更多 →

用户组。 Kerberos 在 OMS 与集群中各部署一个。 OMS Kerberos提供单点登录及Controller与Node Agent间认证的功能。 集群中Kerberos提供组件用户安全认证功能，其服务名称为KrbServer，包含两种角色实例： KerberosServe

查看更多 →

CronFederatedHPA工作原理 CronFederatedHPA的工作原理如图1。创建CronFederatedHPA策略时，可以设定一个具体的时间，基于设定的时间调整HPA策略的最大和最小Pod数，也可以直接定时调整工作负载中的Pod数量。 图1 CronFederatedHPA工作原理 单独使用CronFederatedHPA

查看更多 →