行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：

查看更多 →

口，并使用Hive的命令行接口发布数据定义和元数据探索命令。此外，经过封装这些命令，WebHCat Server还对外提供了RESTful接口，如图2所示。 图2 WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和MapReduce架构的 数据仓库 ，其主要能力是通过对HQL（Hive

查看更多 →

大企业IT治理架构 大企业的业务覆盖范围很广泛，分布在不同的子行业和地理区域，为支持整个公司的长期稳定运行和有效管理，通常采用集团化和等级式管理模式。随着经营范围和规模的不断扩大，需要不断建立子公司、分公司，子公司再建立孙公司，大部门也逐步拆分成多个小部门，组织结构的层级也就越来

查看更多 →

背景和原理 本节主要通过创建一个标准页面，调用一个具有编辑设备功能的脚本，实现编辑设备信息功能。在进行开发前，您需要先了解脚本、公共接口以及标准页面的相关知识。 学习地图 如图1所示，通过本章的学习和实践，您将了解“标准页面”的能力，并掌握脚本的开发方法。 图1 学习地图 脚本 公共接口

查看更多 →

您自定义的字段将保存在上图中的“自定义字段”页签，更多关于对象模型的详细介绍请查看定义对象。 学习地图 如图2所示，通过本节的学习和实践，您可以初步了解“对象”和“标准页面”的基本概念和能力。 图2 学习地图 父主题： 定义数据对象

查看更多 →

ts平台进行开发和创新能力的高级工程师。 通过HCIP-AI EI Developer认证，将证明您已经掌握图像处理、语音处理、 自然语言处理 等AI理论知识和开发应用，具备在华为云EI、ModelArts平台进行开发和创新的能力。 HCIA-Big Data 培训和认证具备使用华为 MRS 大数据开发平台能力的工程师。

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

。 知识点 大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

主机名 产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

DevOps的3大核心基础架构 由于近年DevOps概念的火热，加之DevOps的涵盖面非常广，因此有很多文章和技术都在和DevOps强行关联，使很多想要了解学习DevOps的开发者迷惑不解。 其实，DevOps的知识体系如果从顶层上来分解，可大分为2部分：方法论和工具链。 方法论

查看更多 →

hdfs。 使用catalog连接非安全认证hive on obs。 使用catalog连接kerberos安全认证hive on obs。 Kerberos介绍 Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时，MR

查看更多 →

全托管数据存储和分析服务。CloudTable提供GB~PB级数据存储和分析能力，用于在线查询、数据仓库、数据集市、实时分析等场景。可被广泛应用于互联网、物联网、车联网、金融、政府、物流、制造、零售等行业。 CloudTable产品架构 CloudTable产品架构如下图所示： 图1

查看更多 →

对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。

查看更多 →

Manager，选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”，选择“全部配置”，然后查找“hive.metastore.warehouse.size.percent”，调大该配置项。设配置项的值为A，HDFS总存储空间为B，阈值为C，Hive已经使用HDFS的空间大小为D。调整策略为A

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

数据架构支持逆向数据库吗？ 问题描述 数据架构是否支持逆向数据库。 解决方案 数据架构支持逆向数据库，目前支持基于数据仓库服务（DWS）、 数据湖探索 （ DLI ）、 MapReduce服务 （MRS Hive）的数据库逆向。 父主题： 数据架构

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖 探索（DLI） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →