如何快速使用 MRS MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 MRS使用简单，通过使用在集群中连接在一起的多台计算机

查看更多 →

华为云OBS之间迁移教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错： exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:

查看更多 →

MapReduce基本原理 如需使用MapReduce，请确保MRS集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。

查看更多 →

教程：设置只读逻辑集群并绑定用户 场景介绍 如果在不同时段内业务流量差异非常大，3节点集群又无法满足高峰期的吞吐量要求，但扩容至6节点又存在资源浪费或费用较高问题。用户可通过本章教程再结合定时增删DWS 3.0逻辑集群功能，实现类似于“晚上低峰期3节点，白天6节点，高峰期9节点”的弹性扩展功能。

查看更多 →

各云服务商迁移教程 华为云OBS之间迁移教程 华为云并行文件系统迁移教程 阿里云OSS迁移至华为云OBS教程 腾讯云COS迁移至华为云OBS教程 七牛云迁移至华为云OBS教程 百度云BOS迁移至华为云OBS教程 优刻得US3迁移至华为云OBS教程 金山云KS3迁移至华为云OBS教程 青云QingStor迁移至华为云OBS教程

查看更多 →

登录MRS客户端，将下载的ES-Hadoop和httpclient的jar依赖包上传到MRS客户端。 在MRS客户端创建HDFS目录，将ES-Hadoop lib包和httpclient依赖包上传到该目录下。 hadoop fs -mkdir /tmp/hadoop-es hadoop fs -put

查看更多 →

Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/ FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本：

查看更多 →

教程：新物理集群划分为逻辑集群 场景介绍 本章节演示一套全新6节点物理集群（无业务数据）划分为2套逻辑集群的操作。如果物理集群已有业务数据，请参见教程：已有数据的物理集群转换逻辑集群操作。 前提条件 参见创建DWS 2.0集群章节创建6个节点的集群。 划分逻辑集群 在集群管理页面

查看更多 →

新手入门 概览 快速入门 视频教程 最佳实践 重要按钮 重要按钮 概览 快速入门 视频教程 最佳实践 新手入门 新手入门 从图说云服务、初学者教程、典型场景最佳实践到专家技术汇，不论您处于什么阶段都可以从中查找所需信息，快速上手华为云服务。 立即使用 图解云服务 图形化方式了解华为云服务

查看更多 →

各云服务商配置同步请求教程 阿里云OSS配置同步请求 腾讯云COS配置同步请求

查看更多 →

教程：已有数据的物理集群转换逻辑集群 场景介绍 大规模数据库集群通常会同时包含很多业务数据，不同业务有不同的数据表，可以通过资源管理功能创建多个资源池来实现不同业务的资源隔离。 GaussDB (DWS)支持将不同业务用户分配给不同资源池，以便减少业务之间资源（CPU资源、内存资源、IO资源和存储资源）竞争。

查看更多 →

阿里云OSS迁移至华为云OBS教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

腾讯云COS迁移至华为云OBS教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

谷歌云storage迁移至华为云OBS教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hado

查看更多 →

EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。

查看更多 →

EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。

查看更多 →

EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。

查看更多 →

青云QingStor迁移至华为云OBS教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本：

查看更多 →