中软国际数据治理专业服务解决方案实践

指定中间结果倾斜 如果基表不存在倾斜，而是查询执行中的中间结果出现倾斜，则需要通过指定中间结果倾斜的skew hint来进行倾斜的调优。skew((t1 t2) (c1) (v1)) 说明：表关系t1和t2 Join后的结果存在倾斜，倾斜的是t1表的c1列，c1列的倾斜值是v1。

查看更多 →

上述示例是通过创建表和插入表数据构造迁移示例数据。如果是迁移已有的Hive数据库和表数据，则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息

查看更多 →

WebUI”后的链接，进入HSConsole界面。 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”，填写数据源名称，选择数据源类型“Hive”。 配置“Hive配置”，参数配置请参考表1。 表1 Hive配置 参数 描述 取值样例 驱动 默认为fi-hive-hadoop。 fi-hive-hadoop

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 用户名 填写连接Hive的机机类型用户名。 上传认证文件 单击“添加文件”，上传Hive配置文件。 添加属性 为数据源配置扩展属性信息，单击“添加属性”，配置“属性名称”以及“属性值”。

查看更多 →

指定中间结果倾斜 如果基表不存在倾斜，而是查询执行中的中间结果出现倾斜，则需要通过指定中间结果倾斜的skew hint来进行倾斜的调优。skew((t1 t2) (c1) (v1)) 说明：表关系t1和t2 Join后的结果存在倾斜，倾斜的是t1表的c1列，c1列的倾斜值是v1。

查看更多 →

deleteMarkPointInfo 删除倾斜影像 3dImageFile deleteFolder 添加倾斜影像导入任务 3dImageFileImportTask addImportTask 删除倾斜影像导入任务 3dImageFileImportTask deleteImportTask 启动倾斜影像导入任务

查看更多 →

为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b

查看更多 →

Hive 创建hive catalog 通过连接Hive Metastore，或者兼容Hive Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除了Hive外，很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive

查看更多 →

，即为数据倾斜的情况。 图1 数据倾斜样例 常见数据倾斜场景 Group By聚合倾斜 在执行Group By聚合操作时，如果某些分组键对应的数据量特别大，而其他分组键对应的数据量很小，在聚合过程中，数据量大的分组会占用更多的计算资源和时间，导致处理速度变慢，出现数据倾斜。 JOIN

查看更多 →

Hive查询数据是否支持导出？ Hive查询数据支持导出，请参考如下语句进行导出： insert overwrite local directory "/tmp/out/" row format delimited fields terminated by "\t" select

查看更多 →

权限及对加载数据文件具有owner权限和读写权限，详情请参见Hive应用开发概述。 如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。

查看更多 →

权限及对加载数据文件具有owner权限和读写权限。 如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。 如果

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

通过Hue查看Hive元数据 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据，可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。

查看更多 →

配置 MRS Hive数据连接 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hive连接固定选择为 MapReduce服务 （MRS Hive）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签

查看更多 →

照一定的命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 JDBC字符串

查看更多 →

照一定的命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 JDBC字符串

查看更多 →

描述 填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 用户名 填写连接FI Hive的机机类型用户名。 上传认证文件 单击“添加文件”，上传FI Hive配置文件。 添加属性 为数据源配置

查看更多 →

为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b

查看更多 →

Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题： 组件介绍

查看更多 →