中软国际数据治理专业服务解决方案实践

这种情况通常在试图对Hudi数据集执行Hive同步，但配置的hive_sync数据库不存在时发生。 请在您的Hive集群上创建对应的数据库后重试。 父主题： Hudi常见问题

查看更多 →

此处引用，且已创建数据库，具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 dataname 待连接的数据库的名称。 用户名 datauser 登录待连接的数据库的用户名。 密码 - 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务M

查看更多 →

，并写数据成功。 上述功能，在Hive参数“hive.server2.enable.doAs”为“true”时已经支持，本次增加当“hive.server2.enable.doAs”为“false”时的功能支持。 本功能参数调整与配置Hive目录旧数据自动移除至回收站添加的自定义参数相同。

查看更多 →

Hive读写权限”。 在数据库“hdb”的“权限”列，勾选“查询”和“建表”。 单击“确定”完成。 在权限管理中，为了方便用户使用，授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题，取消表的任意权限，系统不会自动取消数据库目录的HDFS权限，但对应的用户只能登录数据库和查看表名。

查看更多 →

配置Hive插入数据到不存在的目录中 开启Hive能插入数据到不存在的目录中的功能，可以执行写目录insert overwrite directory “/path1/path2/path3” ...命令，“/path1/path2”目录权限为700且属主为当前用户，“path3

查看更多 →

测试通过后，单击“确定”，创建数据连接。 参考 为什么在创建数据连接的界面上 MRS Hive集群不显示？ 出现该问题的可能原因有： 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的 CDM 集群和MRS集群网络不互通。

查看更多 →

，四种状态除了取决于Hive本身服务的可用性（会用简单的SQL来检测Hive服务的可用性），还取决于Hive服务所依赖的其他组件的服务状态。 Hive实例分为Hiveserver和Metastore两种，健康状态有Good，Concerning ，Unknown三种状态，这三种状态是通

查看更多 →

Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop

查看更多 →

，单击实例卡片上的“连接器”。 选择连接器，单击连接器卡片上的“前往”，进入连接器控制台界面。 选择界面左侧导航栏中的“连接器管理 > 数据源管理”，进入“数据源管理”界面。 单击数据源列表上方“新增数据源”，进入“新增数据源”界面，设置MRS_HIVE数据源的基本信息，具体参数如表1所示。

查看更多 →

配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，冻结的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中，这一过程称为分区数据解冻。

查看更多 →

您可以输入用于区分表组的说明。 在表管理页面，选择库表清单页签，勾选要加入同一表组的数据表，单击列表上方的“表组管理 > 批量加入组”，在弹出的修改表组窗口中，选择要加入的表组，单击“确认”。 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考导入数据表并加入表组。 在大数据校验页面

查看更多 →

这种情况通常在试图对Hudi数据集执行Hive同步，但配置的hive_sync数据库不存在时发生。 请在您的Hive集群上创建对应的数据库后重试。 父主题： Hive同步

查看更多 →

配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，移动的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表，这一过程称为分区数据解冻。

查看更多 →

talog所在的OBS路径的操作权限。 Hive表格式仅支持Parquet、ORC、TextFile。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证（安全模式）

查看更多 →

listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp N false --decode-partition

查看更多 →

这种情况通常会发生当您试图使用HiveSyncTool.java类向现有hive表添加新列时。数据库通常不允许将列数据类型按照从高到低的顺序修改，或者数据类型可能与表中已存储/将要存储的数据冲突。如果要修复相同的问题，请尝试设置以下属性： 设置hive.metastore.disallow

查看更多 →

配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下： DB2 Oracle 本章节适用于MRS 3.x及后续版本。

查看更多 →

SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark

查看更多 →

xml”、“hdfs-site.xml”文件。 生成MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件

查看更多 →

Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。 说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时

查看更多 →

Hive同步 Hive同步数据报错SQLException Hive同步数据报错HoodieHiveSyncException Hive同步数据报错SemanticException 父主题： Hudi常见问题

查看更多 →