Streaming引进了WAL功能。 WAL通常被用于数据库和文件系统中，用来保证任何数据操作的持久性，即先将操作记入一个持久的日志，再对数据施加这个操作。若施加操作的过程中执行失败了，则通过读取日志并重新施加前面指定的操作，系统就得到了恢复。下面介绍了如何利用这样的概念保证接收到的数据的持久性。

查看更多 →

操作HDFS的不同目录； 查询编辑器能够编写简单的SQL，查询存储在Hadoop之上的数据。例如HDFS，HBase，Hive。 用户可以方便地创建、管理、执行SQL，并且能够以Excel的形式下载执行的结果。 通过Hue可以在界面针对组件进行以下操作： HDFS： 查看、创建、管理、重命名、移动、删除文件/目录。

查看更多 →

Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker

查看更多 →

Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分： Client Flink Client主要给用户提供向Flink系统提交用户任务（流式作业）的能力。 TaskManager Flink系统的业务执行节点，执行具体的用户任务。TaskManager可

查看更多 →

YARN原理 新的Hadoop MapReduce框架被命名为MRv2或YARN。YARN主要包括ResourceManager、ApplicationMaster与NodeManager三个部分。 ResourceManager：RM是一个全局的资源管理器，负责整个系统的资源管

查看更多 →

od扩缩数量，并保持负载伸缩的稳定性。 图1 FederatedHPA工作原理 如何计算指标数据？ 指标数据分为系统指标与自定义指标，计算方法如下： 系统指标 主要包括CPU利用率和内存利用率两个指标，系统指标的查询与监控依赖Metrics API。例如，您希望控制工作负载对CP

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

路由模式的工作原理 GaussDB (for MySQL)数据库代理支持权重负载、负载均衡的路由模式，可根据需要配置不同的路由模式。 权重负载：根据设置的读权重比例分发读请求。 负载均衡：根据数据库节点的活跃连接数情况进行读请求分发，将读请求分发到活跃连接数较少的节点上。负载均衡模式不需要修改权重。

查看更多 →

server)：为linux虚拟 服务器 ，是一个虚拟的服务器集群系统。LVS简单工作原理为用户请求LVS VIP，LVS根据转发方式和算法，将请求转发给后端服务器，后端服务器接收到请求，返回给用户。LVS组网图如图1所示。 图1 组网图 表1 各类IP信息 主机名 私网IP 公网IP 系统类型 LVS-MASTER 192

查看更多 →

RES13-02 应用系统负载均衡，避免流量不均匀 针对无状态集群业务，通过负载均衡来保证业务均匀分发，可避免部分组件空闲，而部分组件过载而影响业务；同时还可以充分利用系统资源，提高系统性能，改善系统可靠性。 风险等级 高 关键策略 负载均衡分发业务粒度需避免过大，而导致部分组件过载。

查看更多 →

工作负载伸缩原理 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。

查看更多 →

元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。 图4 元数据表和用户表的映射关系 数据操作流程 HBase数据操作流程如图 数据操作流程所示。 图5 数据操作流程 对HBase进行增、删、改、查数据操作时，HBase Client首先连接ZooKeeper获得“hbase:meta”

查看更多 →

图2 WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和MapReduce架构的数据仓库，其主要能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。Hive与HQL相关信息，请参考HQL

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

工作负载伸缩原理 CCE支持多种工作负载伸缩方式，策略对比如下： 表1 弹性伸缩策略对比 伸缩策略 HPA策略 CronHPA策略 CustomedHPA策略 VPA策略 AHPA策略 策略介绍 Kubernetes中实现POD水平自动伸缩的功能，即Horizontal Pod Autoscaling。

查看更多 →

。 路由模式的工作原理 TaurusDB数据库代理支持权重负载、负载均衡的路由模式，可根据需要配置不同的路由模式。 权重负载：根据设置的读权重比例分发读请求。 负载均衡：根据数据库节点的活跃连接数情况进行读请求分发，将读请求分发到活跃连接数较少的节点上。负载均衡模式不需要修改权重。

查看更多 →

负载均衡（LoadBalancer） 创建负载均衡类型的服务 健康检查使用UDP协议的安全组规则说明 父主题： 服务（Service）

查看更多 →

负载均衡器 创建负载均衡器 批量创建负载均衡器 升级负载均衡器类型 查询负载均衡器列表 复制已有负载均衡器 查询负载均衡器详情 更新负载均衡器 变更负载均衡器计费模式 删除负载均衡器 级联删除负载均衡器 级联删除负载均衡器及关联EIP 查询负载均衡器状态树 新增负载均衡器可用区 移除负载均衡器可用区

查看更多 →