type 是 String 节点类型： HiveSQL： 执行Hive SQL脚本 SparkSQL： 执行Spark SQL脚本 DWSSQL：执行DWS SQL脚本 DLI SQL：执行DLI SQL脚本 Shell ：执行Shell SQL脚本 CDM Job：执行CDM作业 D

查看更多 →

Hive 创建hive catalog 通过连接Hive Metastore，或者兼容Hive Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除了Hive外，很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive

查看更多 →

通过sqoop import命令从PgSQL导出数据到Hive时报错 背景 使用sqoop import命令抽取开源PgSQL数据库内容到 MRS HDFS或Hive中。 用户问题 使用sqoop命令可以查询PgSQL表，但是执行sqoop import命令导入导出时报错： The

查看更多 →

滚动重启10个节点耗时约30分钟。 Hive 直接重启 重启期间无法运行HiveSQL。 直接重启耗时约5分钟。 滚动重启 HiveServer滚动重启时，若仍有客户端连接到滚动重启的HiveServer上，客户端正在运行的任务将失败。 HiveServer滚动重启时，将等待客户端连接断开，最长等待30分钟。

查看更多 →

使用Hue WebUI操作Hive表 Hue汇聚了与大多数Apache Hadoop组件交互的接口，致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。 前提条件

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →

MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录。

查看更多 →

滚动重启10个节点耗时约30分钟。 Hive 直接重启 重启期间无法运行HiveSQL。 直接重启耗时约5分钟。 滚动重启 HiveServer滚动重启时，若仍有客户端连接到滚动重启的HiveServer上，客户端正在运行的任务将失败。 HiveServer滚动重启时，将等待客户端连接断开，最长等待30分钟。

查看更多 →

本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的 数据仓库 。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink：提供

查看更多 →

配置Hive任务的最大map数 “hive.mapreduce.per.task.max.splits”参数可用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 登录 FusionInsight Manager页面，选择“集群 >

查看更多 →

业。 图1 Hive基于MapReduce提交任务和基于Tez提交任务流程图 Hive on MapReduce任务中包含多个MapReduce任务，每个任务都会将中间结果存储到HDFS上——前一个步骤中的reducer为下一个步骤中的mapper提供数据。Hive on Tez

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1

查看更多 →

快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，适合用于数据仓库的统计分析。 背景信息

查看更多 →

添加Hive服务后，提交hivesql/hivescript作业失败如何处理？ 该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限，处理方法如下： 添加Hive服务完成。 登录IAM服务控制台，

查看更多 →

配置Hive自读自写SQL防御规则 操作场景 Hive支持对自读自写的SQL语句进行拦截。如果一条SQL语句中查询的表、分区或目录与插入的表、分区或目录一致，且以覆盖的方式插入查询的结果数据，便可判定存在自读自写的场景，用户可以在SQL防御界面通过添加规则ID为“dynamic_0004”的防御规则开启该拦截功能。

查看更多 →

新建MRS Hive数据连接 连接MRS Hive前，需要满足以下条件： 已创建一个低于2.0.0版本的MRS集群，集群包含Hive组件，并且请确保MRS集群已关闭Kerberos认证。对于开启Kerberos认证的MRS Hive数据源， DLV 暂不支持。 已获取MRS Hive数据源的地址。

查看更多 →

type 是 String 节点类型： Hive SQL：执行Hive SQL脚本 Spark SQL：执行Spark SQL脚本 DWS SQL： 执行DWS SQL脚本 DLI SQL： 执行DLI SQL脚本 Shell：执行Shell SQL脚本 CDM Job：执行CDM作业

查看更多 →

数据湖探索（DLI） MapReduce服务（MRS Hive） MapReduce服务（MRS SparkSQL） 云数据库 MySQL 云数据库 PostgreSQL 云数据库 SQL Server 分布式数据库中间件（DDM） 本地CSV文件 本地自建的MySQL、PostgreSQL、Oracle、SQL

查看更多 →

type 是 String 节点类型： HiveSQL： 执行Hive SQL脚本 SparkSQL： 执行Spark SQL脚本 DWSSQL：执行DWS SQL脚本 DLISQL：执行DLI SQL脚本 Shell ：执行Shell SQL脚本 CDMJob：执行CDM作业 D

查看更多 →

如何在导入Hive表时指定输出的文件压缩格式？ 问题现象 如何在导入Hive表时指定输出的文件压缩格式？ 处理步骤 当前Hive支持以下几种压缩格式： org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress

查看更多 →