GzipCodec 如需要全局设置，即对所有表都进行压缩，可以在Manager页面对Hive的服务配置参数进行如下全局配置： hive.exec.compress.output设置为true mapreduce.output.fileoutputformat.compress.codec设置为org

查看更多 →

hiveConfClass, hiveTransClass, hiveMetaClass, hiveShimClass); // 添加Hive配置文件 config.addResource("hive-site.xml");

查看更多 →

xml Hadoop MapReduce配置文件。 yarn-site.xml 配置Yarn详细参数。 HBase\config hbase-site.xml 配置HBase详细参数。 Hive\config hive-site.xml 配置Hive详细参数。 hiveclient.properties

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

配置Hive Python样例工程 操作场景 为了运行 MRS 产品Hive组件的Python接口样例代码，需要完成下面的操作。 MRS 3.1.2及之后版本默认仅支持Python3。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python，其版本不低于2.6

查看更多 →

ne配置实现连接指定的MetaStore实例。 配置隔离时，考虑可用性，建议组件最少配置两个MetaStore实例。 前提条件 集群已安装Hive服务，且服务运行正常。 操作步骤 登录 FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 >

查看更多 →

配置Hive目的端参数 作业中目的连接为Hive连接时，目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标

查看更多 →

系统内。 图6 数据导入成功 步骤3：创建Hive表 下载并安装集群全量客户端，例如在主Master节点上安装，客户端安装目录为“/opt/client”，相关操作可参考安装客户端。 也可直接使用Master节点中自带的集群客户端，安装目录为“/opt/Bigdata/client”。

查看更多 →

使用MRS Hive表对接OBS文件系统 应用场景 MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离场景。 用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 方案架构 Hive是建立在Hadoop上的 数据仓库 框架，提供大数据平台

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →

SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境中与准备放置编译出的jar包同目录的“conf”目录下获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child

查看更多 →

Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop

查看更多 →

数据信息。 相关样例介绍请参见MapReduce统计样例程序。 MapReduce作业访问多组件的应用开发示例： 以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 相关样例介

查看更多 →

Hive应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query

查看更多 →

MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录。

查看更多 →

CDM 集群创建时，需要注意：虚拟私有云、子网、安全组与MRS集群保持一致，确保网络互通。 建立Hive的数据连接 开发Hive SQL前，我们需要在“管理中心 > 数据连接”模块中建立一个到MRS Hive的连接，数据连接名称为“hive1009”。创建MRS Hive连接的操作请参见MRS Hive数据连接参数说明。

查看更多 →

配置Hive Python样例工程 操作场景 为了运行MRS产品Hive组件的Python接口样例代码，需要完成下面的操作。 MRS 3.1.2及之后版本默认仅支持Python3。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python，其版本不低于2.6

查看更多 →

Presto > 配置 > 全部配置”。 在搜索框中搜索“ connector-customize”。 添加名为myhive的connector。 在connector-customize中添加配置： myhive.connector.name=hive-hadoop2 myhive.hive

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。

查看更多 →

获取“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”这三个配置文件，并在Linux环境上创建文件夹保存这三个配置文件，例如“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取，“hiveclient.

查看更多 →