对象存储服务 OBS     

对象存储服务(Object Storage Service)是一款稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。

 
 

    hive元数据存储 更多内容
  • 配置元数据采集任务

    据连接。 采集Hudi元数据前,需要先在Hudi表开启“同步hive表配置”,然后才能通过采集 MRS Hive元数据的方式采集Hudi表的元数据。 如果需要采集Hive分区表的元数据,需要在MRS集群内的HiveServer(角色)->自定义下的“hive.server.customized

    来自:帮助中心

    查看更多 →

  • Datasource表优化

    参数 描述 默认值 spark.sql.hive.manageFilesourcePartitions 是否启用Metastore分区管理(包括数据源表和转换的Hive表)。 true:启用Metastore分区管理,即数据源表存储分区在Hive中,并在查询语句中使用Metastore修剪分区。

    来自:帮助中心

    查看更多 →

  • Datasource表优化

    参数 描述 默认值 spark.sql.hive.manageFilesourcePartitions 是否启用Metastore分区管理(包括数据源表和转换的Hive表)。 true:启用Metastore分区管理,即数据源表存储分区在Hive中,并在查询语句中使用Metastore修剪分区。

    来自:帮助中心

    查看更多 →

  • 使用CDM服务迁移Hive数据至MRS集群

    数据源为Apache Hive时,不支持2.x版本,建议使用的版本为1.2.X、3.1.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 Hive数据迁移分两部分内容: Hive元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBServ

    来自:帮助中心

    查看更多 →

  • REFRESH TABLE

    如果旧集群使用HIVE元数据库来存储表结构,则刷新将不起作用,因为文件系统中不存在表结构定义schema文件。 示例 REFRESH TABLE dbcarbon.productSalesTable; 系统响应 通过运行该命令,已有的Carbon表数据会被注册到Hive元数据库中。 父主题:

    来自:帮助中心

    查看更多 →

  • 创建元数据连接

    创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)

    来自:帮助中心

    查看更多 →

  • CLEANARCHIVE

    Hudi表的存储路径。 hoodie.archive.file.cleaner.policy 清理归档文件的策略:目前仅支持KEEP_ARCHIVED_FILES_BY_SIZE和KEEP_ARCHIVED_FILES_BY_DAYS两种策略,默认策略为KEEP_ARCHIVED_FILES_BY_DAYS。

    来自:帮助中心

    查看更多 →

  • Impala应用开发简介

    Impala简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界

    来自:帮助中心

    查看更多 →

  • Hive

    Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题: Connector列表

    来自:帮助中心

    查看更多 →

  • Hive

    Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题: 组件介绍

    来自:帮助中心

    查看更多 →

  • REFRESH TABLE

    如果旧集群使用HIVE元数据库来存储表结构,则刷新将不起作用,因为文件系统中不存在表结构定义schema文件。 示例 REFRESH TABLE dbcarbon.productSalesTable; 系统响应 通过运行该命令,已有的Carbon表数据会被注册到Hive元数据库中。 父主题:

    来自:帮助中心

    查看更多 →

  • 创建源端组件连接

    目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校

    来自:帮助中心

    查看更多 →

  • Impala SQL接口介绍

    SQL接口介绍 Impala SQL提供对HiveQL的高度兼容性,Impala使用SQL作为其查询语言,为了保护用户在技能开发和查询设计上的投资,Impala提供了与Hive查询语言(HiveQL)的高度兼容性。 由于Impala使用与Hive相同的元数据存储来记录有关表结构和属性的信息,

    来自:帮助中心

    查看更多 →

  • 管理元数据

    管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数

    来自:帮助中心

    查看更多 →

  • 元数据操作

    元数据操作 代码样例文件路径 代码样例文件名 对应的API com.huawei.ges.graph.sdk.v1.examples.schema AddLabelSample 添加Label UpdateLabelSample 更新LabeI QueryGraphSchemaDetailSample

    来自:帮助中心

    查看更多 →

  • 元数据操作

    元数据操作 代码样例文件路径 样例方法名 对应的API com.huawei.ges.graph.sdk.v1.examples.persistence testAddLabel 添加Label testUpdateLabel 更新Label testQueryGraphSchemaDetail

    来自:帮助中心

    查看更多 →

  • 元数据操作

    元数据操作 代码样例文件路径 样例方法名 对应的API com.huawei.ges.graph.sdk.v1.examples.persistence testAddLabel 添加Label testUpdateLabel 更新Label testQueryGraphSchemaDetail

    来自:帮助中心

    查看更多 →

  • 删除元数据

    删除元数据元数据文件失效后,您可以在“元数据管理”页面,对应的元数据文件“操作”列中单击“删除”,来删除元数据文件。 数据删除后无法恢复,请谨慎操作。 图1 删除元数据 父主题: 元数据操作

    来自:帮助中心

    查看更多 →

  • 元数据操作

    元数据操作 图数据的格式 导入元数据 创建元数据 复制元数据 编辑元数据 查找元数据 删除元数据

    来自:帮助中心

    查看更多 →

  • 编辑元数据

    编辑元数据 如果导入或创建的元数据文件不符合业务诉求,需要进行变更,您可以通过编辑元数据对Label和Property进行修改。 编辑元数据文件完成后,将覆盖之前的元数据文件。为避免数据丢失,建议您在编辑前,先复制一份元数据。 操作步骤 在“元数据管理”页面,编辑元数据有两个入口:

    来自:帮助中心

    查看更多 →

  • 准备元数据

    准备元数据 本地准备元数据 您需要在本地准备好需要上传的元数据文件,将元数据文件导入到图引擎服务中以便后续进行图分析。 准备上传的元数据文件需要注意以下几点: 可导入的元数据文件数上限为50,达到上限将不能再继续导入元数据元数据文件的格式必须为xml格式。 导入元数据至OBS(可选)

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了