Hive对接OBS 概述 Hive是一个 数据仓库 工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

参数 是否必选 类型 说明 fromJobConfig.hive 否 String 待抽取数据的数据源，作业源端为Hive时，这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库，例如“default”。 fromJobConfig

查看更多 →

“USER_NAME”为实际用户名，例如“developuser”，样例代码如下： // 设置新建用户的USER_NAME，其中"xxx"为已创建的用于认证的用户名，例如创建的用户为developuser，则USER_NAME为developuser USER_NAME = "xxx";

查看更多 →

for field col1 回答 出现这种情况是因为HiveSyncTool目前只支持很少的兼容数据类型转换。进行任何其他不兼容的更改都会引发此异常。 请检查相关字段的数据类型演进，并验证它是否确实可以被视为根据Hudi代码库的有效数据类型转换。 父主题： Hudi故障处理

查看更多 →

col1 回答 出现这种情况是因为HiveSyncTool目前只支持很少的兼容数据类型转换。进行任何其他不兼容的更改都会引发此异常。 请检查相关字段的数据类型演进，并验证它是否确实可以被视为根据Hudi代码库的有效数据类型转换。 父主题： Hive同步

查看更多 →

页面，选择“系统 > 权限 > 用户”，在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”，选择集群信息后单击“确定”，下载keytab文件。 解压keytab文件，使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下，例如：“/opt/client”。

查看更多 →

页面，选择“系统 > 权限 > 用户”，在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”，选择集群信息后单击“确定”，下载keytab文件。 解压keytab文件，使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下，例如：“/opt/client”。

查看更多 →

4：只显示最后的4个字符，其他用x代替。 Partial mask: show first 4：只显示开始的4个字符，其他用x代替。 Hash：用值的哈希值替换原值，采用的是hive的内置mask_hash函数，只对string、char、varchar类型的字段生效，其他类型的字段会返回NULL值。

查看更多 →

4：只显示最后的4个字符，其他用x代替。 Partial mask: show first 4：只显示开始的4个字符，其他用x代替。 Hash：用值的哈希值替换原值，采用的是hive的内置mask_hash函数，只对string、char、varchar类型的字段生效，其他类型的字段会返回NULL值。

查看更多 →

X-Auth-Token 是 String 用户Token。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限， 获取Token 接口响应消息头中X-Subject-Token的值即为Token。 最小长度：1 最大长度：32768 表3 请求Body参数

查看更多 →

不同版本的Hive之间是否可以兼容？ Hive 3.1版本与Hive 1.2版本相比不兼容内容主要如下： 字段类型约束：Hive 3.1不支持String转成int UDF不兼容：Hive 3.1版本UDF内的Date类型改为Hive内置 索引功能废弃 时间函数问题：Hive 3.1版本为UTC时间，Hive

查看更多 →

UDF注册信息有误，比如错误的格式或者不存在的类路径，系统将忽略这些错误的注册信息，并打印相应日志。 如果用户注册重复的Hive UDF，系统将只注册一次，并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同，系统将会发生异常并无法正常启动。解决该异常需要用户删除对应的Hive UDF注册信息。 部署Hive

查看更多 →

Manager，选择“集群 > 服务 > HetuEngine”，在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面，在“计算实例”页签的实例列表中的“操作”列单击“重启”，根据界面提示重启实例。 以客户端安装用户登录HetuE

查看更多 →

AUTHORIZATION”区域的组件插件名称“OBS”，为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限。 例如，为“hgroup1”用户组赋予“obs://obs-test/test/”目录的“Read”和“Write”的权限： 在首页中单击“HADOOP SQL”区域的组件插

查看更多 →

使用hive-table方式同步数据到obs上的hive表报错 问题 使用hive-table方式同步数据到obs上的hive表报错。 回答 修改数据同步方式，将-hive-table改成-hcatalog-table。 父主题： Sqoop常见问题

查看更多 →

在Manager界面单独启动故障的HiveServer进程，登录后台查找hiveserver.out日志中对应时间点的报错，报错信息为：error parsing conf mapred-site.xml和Premature end of file。然后重启WebHCat也发现同样报错，原因即为解析mapred-site

查看更多 →

SDK生成私钥和证书方法中的identityName作用是什么？ identityName是生成用户证书时需要填入的一个参数，会写入作为证书的commonName，方便业务将自己已有的用户与数字资产链中的用户做好映射关系。同样的identityName，根据业务需要，可以生成任意个数的私钥和证书。

查看更多 →

置文件目录下的“hivemetastore-site.xml”，将“hive.metastore.warehouse.dir”的值修改为对应的OBS路径，例如“obs://hivetest/user/hive/warehouse/”。 vi 客户端安装目录/Hive/HCatal

查看更多 →

在数据库列表中单击用户B创建的表所在的数据库名称，显示用户B创建的表。 在用户B创建的表的“权限”列，勾选“Select”。 单击“确定”，返回“角色”。 选择“系统设置 > 用户管理”，在用户A所在的行，单击“修改”，为用户A绑定新创建的角色，单击“确定”，等待5分钟左右即可访问到用户B创建的表。 MRS

查看更多 →

根据堆栈信息，可以看出在检查子目录的权限时失败。 org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkSubAccess(FSPermissionChecker.java:300) 检查HDFS上表目录下所有文件目录的权限，发现

查看更多 →

创建外表 获取Hive的product_info_orc的文件路径。 登录MRS管理控制台。 选择“集群列表 > 现有集群”，单击要查看的集群名称，进入集群基本信息页面。 单击“文件管理”，选择“HDFS文件列表”。 进入您要导入到 GaussDB (DWS)集群的数据的存储目录，并记录其路径。

查看更多 →