中软国际数据治理专业服务解决方案实践

这种情况通常在试图对Hudi数据集执行Hive同步，但配置的hive_sync数据库不存在时发生。 请在您的Hive集群上创建对应的数据库后重试。 父主题： Hudi常见问题

查看更多 →

Hudi表必须执行Archive。 对于Hudi的MOR类型和COW类型的表，都需要开启Archive。 Hudi表在写入数据时会自动判断是否需要执行Archive，因为Archive的开关默认打开(hoodie.archive.automatic默认为true)。 Archive操作并不是每次写数据时都会触发，至少需要满足以下两个条件：

查看更多 →

此处引用，且已创建数据库，具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 dataname 待连接的数据库的名称。 用户名 datauser 登录待连接的数据库的用户名。 密码 - 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务M

查看更多 →

xml”、“hdfs-site.xml”文件。 生成 MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件

查看更多 →

Hive同步 Hive同步数据报错SQLException Hive同步数据报错HoodieHiveSyncException Hive同步数据报错SemanticException 父主题： Hudi常见问题

查看更多 →

Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。 说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时

查看更多 →

Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop

查看更多 →

SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark

查看更多 →

SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark

查看更多 →

SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark

查看更多 →

SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark

查看更多 →

。 map 是 - 数据处理规则 当配置Hive表名不存在时，作业提交失败。 当配置的列名与Hive表列名不匹配时，读取不到数据，导入数据条数会为0。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 样例 以Hive导出到sqlserver2014数据库为例。 在sqls

查看更多 →

Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式： CS V、ORC、RC和PARQUET）。

查看更多 →

单击右上角的，对文件、函数、设置等信息进行配置。 查看快捷键 单击右上角的，可查看所有快捷键信息。 元数据浏览器使用介绍 访问Hue WebUI。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面：

查看更多 →

Hive on HBase 配置跨集群互信下Hive on HBase 删除Hive on HBase表中的单行记录 父主题： 使用Hive

查看更多 →

ARCHIVE LOG 命令功能 用于根据配置对Timeline上的Instant进行归档，并从Timeline上将已归档的Instant删除，以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier; RUN ARCHIVELOG

查看更多 →

使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库 配置Hive读取Hudi表 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明

查看更多 →

Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。

查看更多 →

ARCHIVELOG 本章节仅适用于MRS 3.2.0及之后版本。 命令功能 用于根据配置对Timeline上的Instant进行归档，并从Timeline上将已归档的Instant删除，以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier;

查看更多 →

配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下： DB2 Oracle 本章节适用于MRS 3.x及后续版本。

查看更多 →

0及以后版本是否可选根据如下判断： 可选：未启用租户的严格校验模式。 必选：启用了租户的严格校验模式。 --schema：（可选）指定要访问数据源下的schema名称。 --user：（普通模式下必选）指定要登录客户端执行业务的用户名称，该用户至少需要具有“--tenant”指定队列的相应角色的业务用户，且不能是操作系统用户。

查看更多 →