MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

HDFS文件系统上，Hive所有的数据操作也都是通过Hadoop HDFS接口进行的。 Hive与MapReduce组件的关系 Hive的数据计算依赖于MapReduce。MapReduce也是Apache的Hadoop项目的子项目，它是一个基于Hadoop HDFS分布式并行计算框架。Hive进行数据分

查看更多 →

TsvImporterByteMapper”时可以得到更好的性能。 org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper 和 org.apache.hadoop.hbase.mapreduce.TsvImporterTextMapper 父主题： HBase性能调优

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和 MRS 大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录。 进入客户端安装目

查看更多 →

配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应

查看更多 →

0之前版本：http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html MRS 3.2.0及之后版本：https://hadoop.apache.org/docs/r3

查看更多 →

0之前版本：http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html MRS 3.2.0及之后版本：https://hadoop.apache.org/docs/r3

查看更多 →

方案架构 Hive是建立在Hadoop上的 数据仓库 框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Ha

查看更多 →

codec为“org.apache.hadoop.io.compress.ZStandardCode”： set hive.exec.compress.output=true; set mapreduce.map.output.compress=true; set mapreduce.map.output

查看更多 →

增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 进阶实践

查看更多 →

备份原理及方案 DDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 备份原理 集群实例 集群实例由dds mongos（路由）、Config（配置）和Shard（分片）组件构成。其中，Confi

查看更多 →

背景和原理（对象） AstroZero提供的数据对象（Object）定义功能，对应传统方式开发业务系统中的创建数据库表。每个Object对应一张数据库表，用于保存业务系统需要的配置数据和业务数据。 对象用于存储组织或者业务特有的数据，可理解为数据库中的数据表（逻辑表，系统实际存储

查看更多 →

备份原理及方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 云数据库RDS通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比

查看更多 →

节点伸缩原理 HPA是针对Pod级别的，可以根据负载指标动态调整副本数量，但是如果集群的资源不足，新的副本无法运行的情况下，就只能对集群进行扩容。 CCE集群弹性引擎是Kubernetes提供的集群节点弹性伸缩组件，根据Pod调度状态及资源使用情况对集群的节点进行自动扩容缩容，同

查看更多 →

Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：

查看更多 →

迁移作业原理 数据迁移模型 CDM 数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →

迁移作业原理 数据迁移模型 CDM数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →

备份原理及方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 云数据库RDS通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比

查看更多 →

基本原理 通常UDP Flood的防御方式有两种，一种是动态指纹学习，一种是UDP限流，前者可能会将正常的业务载荷学习成攻击指纹，容易造成误杀，后者会将正常流量和攻击流量一起进行阻断，影响您的正常业务使用。 图1 设备防护原理图 如图2所示，华为云解决方案通过在UDP报文中增加水

查看更多 →