Hive 创建hive catalog 通过连接Hive Metastore，或者兼容Hive Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除了Hive外，很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive

查看更多 →

权功能缺陷，可以在Ranger上实现对存算分离表的授权鉴权。Hive表的级联授权功能主要体现为： 开启Ranger级联授权后，Ranger中创建策略对表授权时，只需创建表的Hive策略，无需对表存储源进行二次授权。 针对已授权的库/表，当存储源发生变动时，周期同步关联新存储源HDFS/OBS，生成对应权限。

查看更多 →

配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。

查看更多 →

为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b

查看更多 →

设置表文件分布的locator信息，当使用insert语句向该表中插入数据时会将该表的数据文件存放在相同的存储节点上（不支持其他数据导入方式），从而使后续的多表关联的数据计算更加方便和高效。表格式只支持TextFile和RCFile。 本章节适用于 MRS 3.x及后续版本。 操作步骤

查看更多 →

如果加载数据语句中有关键字OVERWRITE，表示加载的数据会覆盖表中原有的数据，否则加载的数据会追加到表中。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中. ---- 用新数据覆盖原有数据

查看更多 →

如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。 如果加载数据语句中有关键字OVERWRITE，表示加载的数据会覆盖表中原有的数据，否则加载的数据会追加到表中。

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

步骤1：创建MRS离线查询集群 步骤2：将本地数据导入到HDFS中 步骤3：创建Hive表 步骤4：将原始数据导入Hive并进行分析 步骤1：创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”，填写软件配置参数。 表1 软件配置（以下参数仅供参考，可根据实际情况调整） 参数名称 参数说明

查看更多 →

例如500000/4（默认值），表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。

查看更多 →

当前MRS提供以下Oozie相关样例工程： 表1 Oozie相关样例工程 样例工程位置 描述 oozie-examples/oozienormal-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

COLUMN 是表table_a的所有者。 ALTER TABLE table_a RENAME 是表table_a的所有者。 ALTER TABLE table_a SET SERDE 是表table_a的所有者。 ALTER TABLE table_a CLUSTER BY 是表table_a的所有者。

查看更多 →

通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能。 hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查询HBase集群信息、获取表、操作NameSpace、操作表等功能。 hbase-thrift-example

查看更多 →

该用户用于HiveServer的健康检查。 本章节配置说明适用于MRS 3.1.0及之后版本。 步骤一：配置LDAP认证 登录Manager界面，选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer（角色） > 安全”，配置以下参数： 表1 配置LDAP认证参数

查看更多 →

执行如下命令查询所有表，返回结果中存在表test_demo01，即表示访问OBS成功。 show tables; 图7 查看是否存在表test_demo01 查看表的Location。 show create table test_demo01; 查看表的Location是否为“obs://OBS桶名/”开头。

查看更多 →

hbase”，勾选“hbase:meta”的“执行”。 选择“待操作集群的名称 > Hive > Hive读写权限”，勾选“default”的 “查询”、“插入”、“建表”、“递归”。 编辑角色，在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”，勾

查看更多 →

全部配置”。 在左侧的导航列表中选择“Hive > HiveServer”。在配置项中，给参数“hive.security.authorization.sqlstd.confwhitelist”添加配置项值“mapreduce.job.priority”即可。 图1 hive.security

查看更多 →

建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客

查看更多 →

当前MRS提供以下Oozie相关样例工程： 表1 Oozie相关样例工程 样例工程位置 描述 oozie-examples/ooziesecurity-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java

查看更多 →