Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：

查看更多 →

口，并使用Hive的命令行接口发布数据定义和元数据探索命令。此外，经过封装这些命令，WebHCat Server还对外提供了RESTful接口，如图2所示。 图2 WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和MapReduce架构的 数据仓库 ，其主要能力是通过对HQL（Hive

查看更多 →

背景和原理 本节主要通过创建一个标准页面，调用一个具有编辑设备功能的脚本，实现编辑设备信息功能。在进行开发前，您需要先了解脚本、公共接口以及标准页面的相关知识。 学习地图 如图1所示，通过本章的学习和实践，您将了解“标准页面”的能力，并掌握脚本的开发方法。 图1 学习地图 脚本 公共接口

查看更多 →

您自定义的字段将保存在上图中的“自定义字段”页签，更多关于对象模型的详细介绍请查看定义对象。 学习地图 如图2所示，通过本节的学习和实践，您可以初步了解“对象”和“标准页面”的基本概念和能力。 图2 学习地图 父主题： 定义数据对象

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

。 知识点 大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

主机名 产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索 （ DLI ） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →

技术原理 父主题： CA代理服务介绍

查看更多 →

RPO：最多可能丢失的数据的时长。 RTO：从灾难发生到整个系统恢复正常所需要的最大时长。 图2 生产站点故障 生产站点和跨可用区容灾站点同时故障 在出现自然灾害地震等大范围灾难，造成生产站点和跨可用区容灾站点同时不可用时，应用可以切换到跨区域容灾站点。通过周期性复制到区域B的整机备份创建整机镜像

查看更多 →

技术原理 CA服务技术原理图请参见图1。 图1 CA服务的技术原理 用户在通过CA服务申请证书时，需要根据实际需求来配置CA信息、证书模板、白名单和CRL等信息。 申请证书方式： 手动申请：分为通过基本信息申请证书、通过上传 CS R文件申请证书两种方式。 自动申请：通过配置CMP协

查看更多 →

如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。 图1 CDM迁移原理 安全边界和风险规避 图2 风险规避 如图2所示，CDM可能存在以下威胁： 互

查看更多 →

备份原理 GaussDB (for MySQL)实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 自动备份 您可以在管理控制台设置同区域备份策略，系统将会按照自动备份策略中设置的备份时间段和备份周期进

查看更多 →

传统多租模式和元模型驱动多租模式 图4 数据建模引擎自动生成工业数据管理应用示意图 数字主线引擎是怎样工作的？ 数字主线引擎是一个工业数据联接、治理、应用的“加工厂”，基于元模型驱动能力快速构建多个实体模型和模型关系，让数据自动关联，使数据天生内聚，从而根本性解决数据使用和维护的问题，最终实现数据的不治而顺。

查看更多 →

技术原理 下图展示在 app 中集成视频通话的基本工作流程： 图2-1技术原理

查看更多 →

RPO：最多可能丢失的数据的时长。 RTO：从灾难发生到整个系统恢复正常所需要的最大时长。 图2 生产站点故障 生产站点和跨可用区容灾站点同时故障 在出现自然灾害地震等大范围灾难，造成生产站点和跨可用区容灾站点同时不可用时，应用可以切换到跨区域容灾站点。通过周期性复制到区域B的整机备份创建整机镜像

查看更多 →