时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（Hi

查看更多 →

如果用户访问别人创建的表或数据库，需要授予权限。所以根据Hive使用场景的不同，用户需要的权限可能也不相同。 表1 Hive使用场景 主要场景 用户需要的权限 使用Hive表、列或数据库 使用其他用户创建的Hive表、列或数据库，不同的场景需要不同的Hive权限，例如： 创建表，需要“建表”权限。

查看更多 →

LakeFormation服务的元数据所映射的实际业务数据，存储在OBS并行文件系统的目录和文件。 MapReduce服务 （MapReduce Service， MRS ） LakeFormation与MRS集群中的Ranger、Hive、Spark对接，实现湖、仓元数据统一管理。 数据仓库 服务

查看更多 →

Hudi表的名称 tablelocation Hudi表的存储路径 示例 run archivelog on h1; run archivelog on "obs://bucket/path/h1"; 注意事项 首先需要执行clean命令，在clean命令清理了历史的数据文件后，

查看更多 →

Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

STRICT，对列的修改，仅对表的元数据产生作用。 列修改命令只能修改表/分区的元数据，而不会修改数据本身。用户应确保表/分区的实际数据布局符合元数据定义。 不支持更改表的分区列/桶列，也不支持更改ORC表。 修改表或分区的存储位置。 ALTER TABLE table_name

查看更多 →

图1 元数据采集 元数据明细 在具体的数据资产元数据明细里，可以查看字段信息、索引信息、存储情况概览、存储分区信息、以及变更信息。 图2 元数据明细1 支持以下载的方式导出数据表的元数据； 图3 元数据明细2 元数据版本 在变更信息中，可以查看元数据的版本列表，不同版本的元数据明

查看更多 →

listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp N false --decode-partition

查看更多 →

29。 节点上的第一块数据盘（供容器运行时和Kubelet组件使用）不支持导入为存储池。 条带化模式的存储池不支持扩容，条带化存储池扩容后可能造成碎片空间，无法使用。 存储池不支持缩容和删除。 如果删除节点上存储池的磁盘，会导致存储池异常。 导入存储池 创建节点时导入 在创建节点时，

查看更多 →

hw:passthrough 否 String metadata中的表示云硬盘设备类型的字段。 true表示云硬盘的设备类型为S CS I类型，即允许ECS操作系统直接访问底层存储介质。支持SCSI锁命令。 false表示云硬盘的设备类型为VBD类型，即为默认类型，VBD只能支持简单的SCSI读写命令。 该字段不存在时，云硬盘默认为VBD类型

查看更多 →

保存HQL语句 在文本编辑框输入Hive HQL语句，单击右上角的，并输入名称和描述。已保存的语句可以在“保存的查询”页签查看。 查看历史 单击“查询历史记录”，可查看HQL运行情况，支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时，可以在输入框使用关键字进行搜索。

查看更多 →

。 将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。 将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_exampl

查看更多 →

在Linux中调测Hive HCatalog应用 执行mvn package生成jar包，在工程目录target目录下获取，比如: hive-examples-1.0.jar。 将上一步生成的hive-examples-1.0.jar上传至运行调测环境的指定路径，例如“/opt/

查看更多 →

23版本。 节点上的第一块数据盘（供容器运行时和Kubelet组件使用）不支持导入为存储池。 条带化模式的存储池不支持扩容，条带化存储池扩容后可能造成碎片空间，无法使用。 存储池不支持缩容和删除。 如果删除节点上存储池的磁盘，会导致存储池异常。 导入存储池 创建节点时导入 在创建节点时，

查看更多 →

ne服务页面。 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 单击“数据源”，在Hive数据源所在行的“操作”列下单击“编辑”，在页面内新增自定义配置，参考表1调整元数据缓存参数。 表1 元数据缓存参数 参数名称

查看更多 →

STRICT，对列的修改，仅对表的元数据产生作用。 列修改命令只能修改表/分区的元数据，而不会修改数据本身。用户应确保表/分区的实际数据布局符合元数据定义。 不支持更改表的分区列/桶列，也不支持更改ORC表。 修改表或分区的存储位置。 ALTER TABLE table_name

查看更多 →

勾选此项将会跳过建立内表时对OBS路径的限制。 元数据过滤策略 迁移过程中元数据的过滤策略。 按元数据类型 按自定义规则 过滤策略存储位置 迁移的自定义元数据过滤策略文件在OBS并行文件系统中的存储位置。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 过滤策略文件名 迁移的自定义元数据过滤策略文件名。

查看更多 →

tableIdentifier Hudi表的名称。 tablelocation Hudi表的存储路径。 hoodie.archive.file.cleaner.policy 清理归档文件的策略：目前仅支持KEEP_ARCHIVED_FILES_BY_SIZE和KEEP_ARCHIVED_FILES_BY

查看更多 →

precombine.field 该值用于在写之前对具有相同的key的行进行合并去重。 指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中，该类用于提供方法将要更新的记录和更新的记录做合并，该实现可插拔，如要实现自己的合并逻辑，可自行编写。 org

查看更多 →

量更新元数据。 定时使用compute increment stats <table_name>刷新常用表的统计信息，加速查询 Impala依赖表统计信息对查询消耗的资源做预估，准确的统计信息有利于Impala更合理地解析执行计划，分配资源。 定时进行小文件合并，减少单表的文件数量，提升元数据加载速率

查看更多 →

单击，选择“微服务开发 > 数据库治理”。 选择左侧导航栏的“数据采集”，选择待采集数据库所属的页签。 开启待采集数据库定时采集列的元数据开关。 如果需要批量开启数据采集，请勾选多条数据库实例，选择“批量开启 > 批量开启元数据采集”。 在“选择电子流”窗口中，选择以下任一方式： 运维操作记录

查看更多 →