Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：

查看更多 →

功能简述 水环境监测：水环境监测旨在通过地图查看接入的排口、排口水质、水质站点、考核断面、河道、排水户、污水厂、水文站8 类POI 的地理位置及绑定设备的监测参数，实现辖区内的全域监测。 雨情预警：通过水位监测、流量监测、视频监测等前端感知设备对易涝点积水信息、实时流量信息、区域

查看更多 →

口，并使用Hive的命令行接口发布数据定义和元数据探索命令。此外，经过封装这些命令，WebHCat Server还对外提供了RESTful接口，如图2所示。 图2 WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和MapReduce架构的 数据仓库 ，其主要能力是通过对HQL（Hive

查看更多 →

背景和原理 本节主要通过创建一个标准页面，调用一个具有编辑设备功能的脚本，实现编辑设备信息功能。在进行开发前，您需要先了解脚本、公共接口以及标准页面的相关知识。 学习地图 如图1所示，通过本章的学习和实践，您将了解“标准页面”的能力，并掌握脚本的开发方法。 图1 学习地图 脚本 公共接口

查看更多 →

您自定义的字段将保存在上图中的“自定义字段”页签，更多关于对象模型的详细介绍请查看定义对象。 学习地图 如图2所示，通过本节的学习和实践，您可以初步了解“对象”和“标准页面”的基本概念和能力。 图2 学习地图 父主题： 定义数据对象

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

。 知识点 大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

主机名 产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索 （ DLI ） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →

技术原理 应用安全的原理如图1所示。 图1 应用安全原理图 父主题： 应用安全介绍

查看更多 →

浏览器在得到最佳节点的IP地址以后，向CDN节点发出访问请求。 如果该IP地址对应的节点已缓存该资源，节点将数据直接返回给用户，如图中步骤7和8，请求结束。 如果该IP地址对应的节点未缓存该资源，节点回源请求资源。获取资源后，结合用户自定义配置的缓存策略，将资源缓存至节点，如图中的

查看更多 →

集成原理 如果您期望了解我们的集成原理，请参见图1。 图1 Web聊天控件token认证方式集成原理 父主题： 集成轻量级WEB聊天控件（引入Token认证方式）

查看更多 →

集成原理 如果您期望了解我们的实现原理，请参见图1。 图1 Web聊天控件Authorization认证方式集成原理 父主题： 集成轻量级WEB聊天控件（引入Authorization认证方式）

查看更多 →

备份原理 DDM实例暂不支持客户手动备份，实例将在每日凌晨2点至3点自动备份，删除逻辑库、逻辑库分片变更后清理数据、删除实例等影响Metadata的重要操作也会触发元数据备份。 备份原理如图1所示。 图1 备份原理 元数据库是用来存放DDM实例信息以及下挂的数据节点信息，各区域的所有DDM实例共用一个元数据库。

查看更多 →

工作原理 云审计 服务直接对接华为云平台上的其他服务，记录用户的云服务资源的操作信息，实现用户操作云服务资源动作和结果的实时记录功能。 使用云审计服务创建追踪器可以跟踪记录事件文件。如已配置事件转储至OBS服务和LTS服务，事件文件将保存在OBS桶和LTS日志组中。 用户可以对事件文件执行以下两种操作：

查看更多 →