不够灵活（比如报错不符合预期、结果与预期不一致等）。 Spark 3.1.1版本实现了命令的本地化，使用Spark SQL Native DDL/DML取代Hive执行DDL/DML命令。一方面实现和Hive的解耦，另一方面可以对命令进行定制化。 DataSet DataSet是

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和 MRS 大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

易于调试：CQL提供了详细的异常码说明，降低了用户对各种错误的处理难度。 关于Storm的架构和详细原理介绍，请参见：https://storm.apache.org/。 Storm原理 基本概念 表1 概念介绍 概念 说明 Tuple Storm核心数据结构，是消息传递的基本单元，

查看更多 →

s-master/docs/concepts/flink-architecture/。 Flink原理 Stream & Transformation & Operator 用户实现的Flink程序是由Stream和Transformation这两个基本构建块组成。 Stream

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

Pod调度到具有更多资源的集群，以解决单个集群的资源限制，提高故障发生时的恢复能力。 FederatedHPA工作原理 FederatedHPA的工作原理如图1，实现流程如下： HPA Controller通过API定期查询工作负载的指标数据。 karmada-apiserver

查看更多 →

tamp，csi-provisioner认为不需要删除底层卷，于是跳过删底层卷的流程，直接开始删除PV，这样PVC和PV被成功删除，但是底层卷残留。关于此问题的逻辑代码请参见controller。 解决方案 对于已残留的底层存储，请通过手动删除的方式进行清理。 对于未删除的动态创

查看更多 →

并行查询简介 什么是并行查询 云数据库 GaussDB (for MySQL)支持了并行执行的查询方式，用以降低分析型查询场景的处理时间，满足企业级应用对查询低时延的要求。并行查询的基本实现原理是将查询任务进行切分并分发到多个CPU核上进行计算，充分利用CPU的多核计算资源来缩短查

查看更多 →

部署架构图 物联设备采集 物联设备GW通过采集底层设备（消防系统、楼宇自控系统等其他底层设备）通过MQTT数据通过EIP转发到 云服务器 中。 虚拟私有云 在虚拟私有云中搭建应用子网E CS 和数据子网（云数据库、分布式消息服务kafka等中间件），应用子网与数据子网互为数据存储。 多用户访问

查看更多 →

功能介绍 云数据库GaussDB(for MySQL)支持了并行执行的查询方式，用以降低分析型查询场景的处理时间，满足企业级应用对查询低时延的要求。并行查询的基本实现原理是将查询任务进行切分并分发到多个CPU核上进行计算，充分利用cpu的多核计算资源来缩短查询时间。并行查询的性能

查看更多 →

数字资产链底层用了什么 区块链 ？ fabric是基于开源项目做的增强版，做了一些功能增强、性能提升和安全加固。华为云区块链引擎是华为自研区块链平台，功能、性能和安全都有所增强，满足国家对高新技术自主可控的要求。 父主题： 咨询类问题

查看更多 →

CCE容器云存储PVC能否感知底层存储故障？ CCE PVC按照社区逻辑实现，PVC本身的定义是存储声明，与底层存储解耦，不负责感知底层存储细节，因此没有感知底层存储故障的能力。 云监控服务 CES 具备查看云服务监控指标的能力：云监控服务基于云服务自身的服务属性，已经内置了详细全

查看更多 →

e()方法。需要在Reconcile()方法中实现协调逻辑，创建Service、StatefulSet等资源，并更新应用实例状态，实现的过程中，可以参考： 查询资源：控制器使用controller-runtime库中的Client实现对Kubernetes资源的增查改删，示例代码参见：example_test

查看更多 →

查找所有实现 您可以在代码编辑器中右键单击所选符号，然后选择上下文菜单中的“快速查看”>“查看实现”（或按下 “Ctrl+Alt+B”（IDEA快捷键）），来查看该符号的实现。 父主题： 代码浏览

查看更多 →

点的Agent可以选择多个汇聚节点，这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍，请参见：https://flume.apache.org/releases/1.9.0.html。 Flume原理 Agent之间的可靠性 Agent之间数据交换流程如图4所示。

查看更多 →

Manager基本原理 Manager功能 Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

CronFederatedHPA工作原理 CronFederatedHPA的工作原理如图1。创建CronFederatedHPA策略时，可以设定一个具体的时间，基于设定的时间调整HPA策略的最大和最小Pod数，也可以直接定时调整工作负载中的Pod数量。 图1 CronFederatedHPA工作原理 单独使用CronFederatedHPA

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

eldb相比有了很大的提升, 并解决了leveldb主动限制写的问题，同时实现了冷热分离，减小了存储层的操作对性能造成的影响。 本章节主要介绍SSDB到GeminiDB Redis接口的迁移方案。 迁移原理 ssdb-port作为源端SSDB数据库的主节点的从节点（replica

查看更多 →