设置表文件分布的locator信息，当使用insert语句向该表中插入数据时会将该表的数据文件存放在相同的存储节点上（不支持其他数据导入方式），从而使后续的多表关联的数据计算更加方便和高效。表格式只支持TextFile和RCFile。 本章节适用于 MRS 3.x及后续版本。 操作步骤

查看更多 →

为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b

查看更多 →

配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。

查看更多 →

基于存算分离授权功能缺陷，可以在Ranger上实现对存算分离表的授权鉴权。Hive表的级联授权功能主要体现为： 开启Ranger级联授权后，Ranger中创建策略对表授权时，只需创建表的Hive策略，无需对表存储源进行二次授权。 针对已授权的库/表，当存储源发生变动时，周期同步关

查看更多 →

false 说明： 在使用Hive进行联表查询，且关联的表无大小表的分别（小表数据<24MB）时，建议将此参数值修改为“false”，如果此时将此参数设置为true，执行联表查询时无法生成新的mapjoin。 true hive.default.fileformat Hive使用的默认文

查看更多 →

配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。

查看更多 →

为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b

查看更多 →

Load数据到Hive表失败 问题背景与现象 用户在建表成功后，通过Load命令往此表导入数据，但导入操作中遇到如下问题： ....... > LOAD DATA INPATH '/user/tester1/hive-data/data.txt' INTO TABLE employees_info;

查看更多 →

数据；导入到表中分区时导入的表必须是分区表。 导入数据时需注意： 使用import from '/tmp/export';命令导入表是没有指定表名的场景，该场景导入的数据会保存到与源表名相同的表路径下，需注意以下两点： 如果目标集群上不存在与源集群上同名的表，在导入表的过程中会创建该表。

查看更多 →

设置表文件分布的locator信息，当使用insert语句向该表中插入数据时会将该表的数据文件存放在相同的存储节点上（不支持其他数据导入方式），从而使后续的多表关联的数据计算更加方便和高效。支持HDFS的Colocation功能的Hive表格式只有TextFile和RCFile。

查看更多 →

Hive应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Hive应用程序开发流程 表1 Hive应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Hive的基本概念。 常用概念 准备开发和运行环境 Hive的应用程序支持使用Jav

查看更多 →

”。 在表“htable”的“权限”列，勾选“查询”、“插入”和“删除”。 单击“确定”完成。 在角色管理中，授予角色在Hive外表中查询、插入和删除数据的操作与Hive表相同，授予元数据权限将自动关联HDFS文件权限。 列授权 用户在Hive和HDFS中对自己创建的表拥有完整权

查看更多 →

CREATE SCHEMA hive.demo WITH (location = 'obs://mrs-word001/presto-demo002/'); 在该Schema中建表，该表的数据即会存储在OBS文件系统内，例如： CREATE TABLE hive.demo.demo_table

查看更多 →

on HBase，在SparkSQL中查询HBase表数据，需要设置HBase权限。 在一些特殊SparkSQL使用场景下，需要单独设置其他权限。 表2 SparkSQL授权注意事项 场景 用户需要的权限 创建SparkSQL数据库、表、外表，或者为已经创建的表或外表添加分区，且Hi

查看更多 →

包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，图1为Hive的结构概图。 图1 Hive结构 表1 模块说明 名称 说明 HiveServer

查看更多 →

on HBase，在SparkSQL中查询HBase表数据，需要设置HBase权限。 在一些特殊SparkSQL使用场景下，需要单独设置其他权限。 表2 SparkSQL授权注意事项 场景 用户需要的权限 创建SparkSQL数据库、表、外表，或者为已经创建的表或外表添加分区，且Hi

查看更多 →

Hive应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Hive应用程序开发流程 表1 Hive应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Hive的基本概念。 常用概念 准备开发和运行环境 Hive的应用程序支持使用Jav

查看更多 →

Manager的告警列表中，查看是否有“进程故障”产生。 是，执行5。 否，执行8。 在“进程故障”，查看“服务名”是否为“ZooKeeper”。 是，执行6。 否，执行8。 参考“ALM-12007 进程故障”的处理步骤处理该故障。 在告警列表中，查看“Hive服务不可用”告警是否清除。

查看更多 →

sonFile，Parquet，Squence， CS V。 本特性仅适用于MRS 3.1.2及之后版本。 ZSTD压缩格式的建表方式如下： ORC存储格式建表时可指定TBLPROPERTIES("orc.compress"="zstd")： create table tab_1(.

查看更多 →

为什么在HIVE数据源中，我只能看到少量的表，有的表也只能看到部分字段？ 出于数据安全考虑，部分数据源是受限访问的，具体的限制规则在DR服务（数据权限）中设置，该服务可以设置用户待访问数据源及元数据的密级及归属群组。 父主题： 数据探索

查看更多 →

DynamoDB的number在Hive表中用什么类型比较好？ 问：DynamoDB的number在Hive表中用什么类型比较好？ 答：Hive支持smallint，推荐使用smallint类型。 父主题： 组件配置类

查看更多 →