MapReduce服务 （MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持 数据湖 、 数据仓库 、BI、AI融合等能力，完全兼容开源，快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台，满足客户业务快速增长和敏捷创新诉求。

查看更多 →

拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。 使用示例 以迁移HDFS上的“/data/sample”目录为例，执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample

查看更多 →

获取数据仓库列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数

查看更多 →

与其他云服务的关系 与统一身份认证服务的关系 数据仓库服务使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证和鉴权功能。 需要拥有DWS Administrator权限的用户才能完整使用数据仓库服务。如需开通该权限，请联系拥有Security

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

如何免费试用数据仓库服务？ 免费试用活动仅限新用户可以参加。如果您的账号从未创建过 GaussDB (DWS)集群，且已完成实名认证，就有资格免费试用GaussDB(DWS)服务1个月。 您可以登录GaussDB(DWS) 管理控制台，单击“立即申请试用”开通免费试用套餐。不同区域之

查看更多 →

使用 CDM 服务迁移Hadoop数据至 MRS 集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态，采

查看更多 →

数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB（DWS）日志接入LTS。 具体接入方法请参见集群日志管理。 父主题： 使用云服务接入LTS

查看更多 →

Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

导入样例数据，再使用聚合函数、group by、order by、视图进行多维度分析。 1.5h SQL on Hadoop 导入MRS-Hive数据源 创建数据仓库集群GaussDB(DWS)，并导入MRS的Hive数据，实现跨集群进行大数据融合分析。 1.5h 二次开发 使用Java进行二次开发

查看更多 →

对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。 以ro

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索 （ DLI ） 支持分区表的分区信息分片。 不支持非分区表分片。 Hadoop MRS HDFS 支持按文件分片。 MRS HBase 支持按HBase的Region分片。

查看更多 →

获取数据仓库自定义属性列表 功能介绍 获取数据仓库自定义属性列表 URI GET /v1.0/{project_id}/common/warehouses/custom-attributes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID

查看更多 →

不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。 不支持非分区表分片。 Hadoop MRS HDFS 支持按文件分片。 MRS HBase 支持按HBase的Region分片。

查看更多 →

Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hado

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →