Hive数据迁移分两部分内容： Hive的元数据信息，存储在MySQL等数据库中。 MRS Hive集群的元数据会默认存储到MRS DBService（华为的Gaussdb数据库），也可以选择RDS（MySQL）作为外置元数据库。 Hive的业务数据，存储在HDFS文件系统或OBS对象存储中。 M

查看更多 →

驱动包的属组和权限 使用MRS客户端中Hive的lib目录下（/opt/Bigdata/client/Hive/Beeline/lib）的jackson开头的jar包替换Sqoop的lib下的相应jar包。 图2 jackson开头的jar 将MRS Hive客户端中（/opt/B

查看更多 →

划线组成。 数据源选择 选择数据来源。仅支持“MRS_HIVE”。 数据源 说明： 如果没有可使用的Hive数据库实例，可单击“授权数据库”，授权数据库资产，具体的操作可参见授权大数据资产。 数据库实例：选择脱敏数据所在的数据库实例。 数据库名：选择脱敏数据所在的数据库名称。 数据表名：选择脱敏数据所在的数据表名称。

查看更多 →

再次选择“连接管理 > 新建连接”，新建MRS Hive连接。连接器类型选择“MRS Hive”，然后单击“下一步”配置连接参数，参数说明如表2所示。配置完成后，单击“保存”回到连接管理界面。 图1 配置MRS Hive连接 表2 MRS Hive连接参数 参数名 说明 取值样例 名称

查看更多 →

le，bigdecimal，date MRS Hive数据库：integer，bigint，string，float，timestamp，varchar，char，date MRS HBase数据库：string 不建议在MRS Hive数据库中使用varchar、char、da

查看更多 →

解决开源Sqoop 1.4.7版本对接MRS Hive服务兼容性问题 解决Hive on MR查询Avro表失败问题 解决HiveServer加载UDF场景可能出现内存泄漏问题 解决Hive和SparkSQL的时间函数执行结果不一致问题 解决Hive on Tez执行Map-Join结果不正确问题（HIVE-20187）

查看更多 →

Hive执行insert into语句报错 问题现象 使用MRS Hive执行一条SQL，有如下报错： 图1 使用MRS Hive执行SQL报错 原因分析 查看HiveServer日志，在对应时间点，有如下的报错信息。 图2 HiveServer日志 在如上报错信息中未发现重要信

查看更多 →

获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题： 附录

查看更多 →

Elasticsearch脱敏 大数据 Elasticsearch Hive脱敏 Hive HBase脱敏 HBase DLI 脱敏 大数据 DLI MRS脱敏 MRS MRS_HIVE 数据水印功能支持的数据源类型 表4 数据水印功能支持的数据源类型 水印类型 水印类型 支持的数据源类型 数据库水印 有损-列水印

查看更多 →

OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS 大数据组件 MRS Hive 解决hive server内存泄露问题：HIVE-10970、HIVE-22275。

查看更多 →

DWS审计日志列表 MRS Hive审计日志：MRS Hive日志列表默认不展示日志内容，而是支持根据配置条件进行检索，检索结果按照页签呈现，支持展示最多5个检索结果页签。 图4 MRS Hive审计日志列表 DLI审计日志：DLI日志列表默认展示日志信息。点击日志名查看日志详情，可查看当前日志的全量信息。

查看更多 →

DSC通过内置和自定义脱敏算法，实现对RDS、ES、MRS、Hive和HBase数据进行脱敏，一般情况下，脱敏时长如表2所示。 表2 脱敏时长 数据源 数据量 脱敏时长 RDS（关系型数据库） 1000W行 40分钟 Elasticsearch实例 1000Wdoc 40分钟 MRS_HIVE 1000W行 40分钟

查看更多 →

接入HANA数据源 接入HIVE数据源 接入LDAP数据源 接入IBM MQ数据源 接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源

查看更多 →

再次选择“连接管理 > 新建连接”，新建MRS Hive连接。连接器类型选择“MRS Hive”，然后单击“下一步”配置连接参数，参数说明如表2所示。配置完成后，单击“保存”回到连接管理界面。 图1 配置MRS Hive连接 表2 MRS Hive连接参数 参数名 说明 取值样例 名称

查看更多 →

WebHCat为Hive提供了对外可用的REST接口，开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议，并且可以在两种协议间自由切换。 安全模式支持HTTPS和HTTP协议，普通模式只支持HTTP协议。 操作步骤 进入Hive服务配置页面： 登录 FusionInsight

查看更多 →

删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因，Hive并不能支持对单条表数据进行删除操作，但在Hive on HBase功能中，MRS Hive提供了对HBase表的单条数据的删除功能，通过特定的语法，Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。

查看更多 →

配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关，默认为禁用Transform功能，与开源社区版本保持一致。 用户可修改配置开关，开启Transform功能，当开启Transform功能时，存在一定的安全风险。

查看更多 →

SQL MRS Spark SQL MRS Hive SQL MRS Presto SQL MRS Spark MRS Spark Python ETL Job OBS Manager 手动配置血缘时，在节点的“血缘关系”页签，配置血缘的输入和输出表。输入和输出表的所属数据源支持D

查看更多 →

SQL MRS Spark SQL MRS Hive SQL MRS Presto SQL MRS Spark MRS Spark Python ETL Job OBS Manager 手动配置血缘时，在节点的“血缘关系”页签，配置血缘的输入和输出表。输入和输出表的所属数据源支持D

查看更多 →

Studio实例时自动创建的数据集成集群。 如需连接MRS 2.x版本的集群，请选择2.x版本的数据集成集群作为Agent代理。 图2 创建MRS Hive数据连接 创建数据库 根据数据湖治理落地流程，建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库，从而对数据进行分层分库

查看更多 →

MRS Hive连接ZooKeeper时报错“ConnectionLoss for hiveserver2” Hive执行insert into语句报错 增加Hive表字段超时 重启Hive服务失败 Hive分区数过多导致删除表失败 Hive执行msck repair table命令时报错

查看更多 →