中软国际数据治理专业服务解决方案实践

加载Hive数据 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中

查看更多 →

toString(); 注：直连HiveServer时，若当前连接的HiveServer故障则会导致访问Hive失败；若使用ZooKeeper的访问Hive，只要有任一个HiveServer实例可正常提供服务即可。因此使用JDBC时建议通过ZooKeeper的方式访问Hive。 加载Hive JDBC驱动。

查看更多 →

'%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综

查看更多 →

'%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综

查看更多 →

'%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综

查看更多 →

产生结果较少，优先执行。 Join出来结果大的组合，例如表数据量大或两张表Join后产生结果较多，在后面执行。 例如，customer表的数据量最多，orders表和lineitem表优先Join可获得较少的中间结果。 原有的Join语句如下： select l_orderkey

查看更多 →

恢复Hive业务数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过 FusionInsight

查看更多 →

备份Hive业务数据 操作场景 为了确保Hive日常用户的业务数据安全，或者系统管理员需要对Hive进行重大操作（如升级或迁移等），需要对Hive数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight

查看更多 →

产生结果较少，优先执行。 Join出来结果大的组合，例如表数据量大或两张表Join后产生结果较多，在后面执行。 例如，customer表的数据量最多，orders表和lineitem表优先Join可获得较少的中间结果。 原有的Join语句如下： select l_orderkey

查看更多 →

'%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综

查看更多 →

'%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综

查看更多 →

Hive同步数据报错HoodieHiveSyncException 问题 Hive同步数据时报错： com.uber.hoodie.hive.HoodieHiveSyncException: Could not convert field Type from <type1> to

查看更多 →

Hive同步数据报错HoodieHiveSyncException 问题 Hive同步数据时报错： com.uber.hoodie.hive.HoodieHiveSyncException: Could not convert field Type from <type1> to

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

上述示例是通过创建表和插入表数据构造迁移示例数据。如果是迁移已有的Hive数据库和表数据，则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

添加Hive数据源 Hive数据源介绍 HetuEngine服务在安装时已经将共部署（与HetuEngine在同一个Hadoop集群）的Hive数据源默认实现对接，数据源名称为“hive”，不可删除。部分默认配置不可修改，如数据源名称，数据源类型，服务端Principal，客户端

查看更多 →

填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 JDBC字符串 Hive数据库的JDBC格式连接串，格式：jdbc:hive2://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。

查看更多 →

登录智能数据洞察控制台。 从新建数据源进入创建数据源页面，选择要创建数据源所在的项目，源库类型选择数据Hive。 接入网络类型选公网。 在配置连接对话框，填写以下配置。 图1 接入Hive数据源参数 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型，本示例为Hive。更多数据源类型连接请参考表1。

查看更多 →

WebUI”后的链接，进入HSConsole界面。 单击“数据源”，在Hive数据源所在行的“操作”列下单击“编辑”，在页面内新增如下自定义配置： 表1 元数据超时参数 参数名称 默认值 描述 hive.metastore-timeout 10s 共部署Hive数据源加载元数据缓存最大超时时间，单位为秒或分钟

查看更多 →

接入HIVE数据源 概述 ROMA Connect支持把HIVE作为一个数据源，用于创建数据API。在使用HIVE数据源前，您需要先接入数据源。 数据集成中仅支持百万以内数据量。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。

查看更多 →