Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类

查看更多 →

apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;

查看更多 →

DBService基本原理 DBService简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左右），比如：组件元数据。DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。 DBService是集群的基础组件，H

查看更多 →

ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常

查看更多 →

用户可以将TsFile文件写入到HDFS上，进而满足Hadoop、Flink等数据处理任务的访问。 对于写入到HDFS或者本地的TsFile文件，可以利用TsFile-Hadoop或TsFile-Flink连接器，允许Hadoop或Flink进行数据处理。 对于分析的结果，可以写回成TsFile文件。

查看更多 →

CronFederatedHPA工作原理 CronFederatedHPA的工作原理如图1。创建CronFederatedHPA策略时，可以设定一个具体的时间，基于设定的时间调整HPA策略的最大和最小Pod数，也可以直接定时调整工作负载中的Pod数量。 图1 CronFederatedHPA工作原理 单独使用CronFederatedHPA

查看更多 →

点，这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍，请参见：https://flume.apache.org/releases/1.9.0.html。 Flume原理 Agent之间的可靠性 Agent之间数据交换流程如图4所示。 图4 Agent数据传输流程

查看更多 →

Manager基本原理 Manager功能 Manager是 MRS 的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

内网采集权限与原理 主机深度采集 权限要求： Windows系统：需要提供具有Administrator权限的账号。 Linux系统：需要提供root账号。 采集原理： Windows系统：通过WinRM服务从Edge访问Windows主机，执行PowerShell脚本采集系统信息。

查看更多 →

快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态，采

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

DDS节点脱节原理和说明 副本集架构由主节点、备节点和隐藏节点组成，DDS自动搭建三节点的副本集供用户使用，节点之间数据自动同步，保证数据的高可靠性。对于需要保证高可用的中小型业务系统，推荐使用副本集。 主节点：即Primary节点，用于读写请求。 备节点：即Secondary节点，用于读请求。

查看更多 →

MapReduce基本原理 如需使用MapReduce，请确保MRS集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。

查看更多 →

MySQL主备复制原理简介 RDS for MySQL的默认备库、只读实例、自建从库、DRS链路灾备实例均采用MySQL的Binlog复制技术，也称为MySQL主备复制或主从复制技术。本章节介绍MySQL的主从复制原理。 主备复制流程 主节点（Master）中有数据更新时，会按照

查看更多 →

hashtag的原理、规则及用法示例 hashtag原理 单实例上的mset、lua脚本等处理多key时，是一个原子性(atomic)操作，所有给定key都会在同一时间内被执行。集群每次通过对key进行hash计算到不同的分片，所以集群上同时执行多个key，不再是原子性操作，会存在某些给定

查看更多 →

Loader基本原理 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件 服务器 导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。

查看更多 →

使用 CDM 服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能

查看更多 →