准备Hive应用开发和运行环境 准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。 表1 JDBC开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows系统或Linux系统。

查看更多 →

开发和部署对接HetuEngine的Hive UDF 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用Hive UDF的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3

查看更多 →

，避免在跨地域有限带宽场景下因流量独占而影响其他业务的正常使用。 跨域功能使用指导 前提条件： 确保本端和远端集群的数据节点上分别部署至少一个HSFabric实例。 确保本端和远端集群的HSFabric实例所在节点的网络互通。 操作步骤： 开放本域数据源。通过创建Virtual

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

管理数据库和用户（MySQL） 注意事项 创建数据库 查询数据库（已废弃） 查询数据库列表 查询指定用户的已授权数据库 修改指定实例的数据库备注 删除数据库 创建数据库用户 查询数据库用户（已废弃） 查询数据库用户列表 查询指定数据库的已授权用户 修改数据库用户的备注 删除数据库用户

查看更多 →

储路径的“Read”和“Write”权限的URL策略，详细操作请参见添加Hive的Ranger访问权限策略。 例如，为“hgroup1”用户组创建“hive_url_policy”URL策略赋予“obs://obs-test/test/”目录的“Read”和“Write”的权限：

查看更多 →

MySQL MySQL连接器用于连接MySQL数据库，负责建立和维护应用程序和MySQL数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MyS

查看更多 →

MySQL MySQL连接器用于连接MySQL数据库，负责建立和维护应用程序和MySQL数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MyS

查看更多 →

在sqlserver2014上创建一张空表“test_1”用于存储Hive数据。执行以下语句： create table test_1 (id int, name text, value text); 配置“Hive输入”算子，生成三个字段A、B和C： 设置了数据连接器后，单击“自动识别”，系统将

查看更多 →

Hudi表的存储路径。 hoodie.archive.file.cleaner.policy 清理归档文件的策略：目前仅支持KEEP_ARCHIVED_FILES_BY_SIZE和KEEP_ARCHIVED_FILES_BY_DAYS两种策略，默认策略为KEEP_ARCHIVED_FILES_BY_DAYS。

查看更多 →

使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法参考 Hive常见问题

查看更多 →

Hive on HBase 配置跨集群互信下Hive on HBase 删除Hive on HBase表中的单行记录 父主题： 使用Hive

查看更多 →

Hive方言 简介 从Flink 1.11.0 开始，在使用Hive方言时，Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性，改善与Hive的互操作性，并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考：Apache Flink

查看更多 →

Hive连接 介绍 通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 { "links":

查看更多 →

输入文件数超出设置限制导致任务执行失败 Hive任务执行中报栈内存溢出导致任务执行失败 对同一张表或分区并发写数据导致任务失败 Hive任务失败，报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败 HiveServer和HiveHCat进程故障 MRS

查看更多 →

批处理主要特点是耗时时间长，消耗的资源比较多，主要的调优和设计推荐如下： 尽量使用ORC File， 配上合适的压缩算法， 主要可选的压缩算法为Zlib和Snappy。其中Zlib压缩比高，但压缩解压时间比Snappy长，消耗资源比如Snappy多。Snappy平衡了的压缩比和压缩解压的性能。推荐使用Snappy。

查看更多 →

在sqlserver2014上创建一张空表“test_1”用于存储Hive数据。执行以下语句： create table test_1 (id int, name text, value text); 配置“Hive输入”算子，生成三个字段A、B和C： 设置了数据连接器后，单击“自动识别”，系统将

查看更多 →

、RC和PARQUET）。 说明： PARQUET格式是一种列式存储格式，PARQUET要求Loader的输出字段名和Hive表中的字段名保持一致。 Hive 1.2.0版本之后，Hive使用字段名称替代字段序号对ORC文件进行解析，因此，Loader的输出字段名和Hive表中的字段名需要保持一致。

查看更多 →

结果将在文本编辑框下方显示。 保存HQL语句 在文本编辑框输入Hive HQL语句，单击右上角的，并输入名称和描述。已保存的语句可以在“保存的查询”页签查看。 查看历史 单击“查询历史记录”，可查看HQL运行情况，支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时，可以在输入框使用关键字进行搜索。

查看更多 →

Hive on HBase 配置跨集群互信下Hive on HBase 删除Hive on HBase表中的单行记录 父主题： 使用Hive

查看更多 →

、RC和PARQUET）。 说明： PARQUET格式是一种列式存储格式，PARQUET要求Loader的输出字段名和Hive表中的字段名保持一致。 Hive 1.2.0版本之后，Hive使用字段名称替代字段序号对ORC文件进行解析，因此，Loader的输出字段名和Hive表中的字段名需要保持一致。

查看更多 →