加载Hive数据 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中

查看更多 →

ALM-16001 Hive 数据仓库 空间使用率超过阈值 告警解释 系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围（85%），

查看更多 →

数据仓库服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定公网IP DWS集群运维时间窗检查 父主题： 系统内置预设策略

查看更多 →

Hive的主要应用于海量数据的离线分析（如 日志分析 ，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 基于Kerberos技术的安全认证机制。

查看更多 →

为增强可靠性，每个节点都有一个副本，副本会占用一半的存储空间，选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据，生成索引、临时缓存文件、运行日志等内容，并占用存储容量。每个节点实际存储的数据，大致为总存储容量的一半。 父主题： 数据导入导出

查看更多 →

Hive主要应用于海量数据的离线分析（如日志分析，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 数据文件加密机制。 开源社区的Hi

查看更多 →

Presto查询Hive表无数据 用户问题 使用Presto查询Hive表无数据。 问题现象 通过Tez引擎执行union相关语句写入的数据，Presto无法查询。 原因分析 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会保存在HIVE_UNION_SUBDI

查看更多 →

务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在E CS 上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明

查看更多 →

Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。 Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。

查看更多 →

GaussDB (DWS) SQL进阶及应用开发 01:53:55 数据仓库服务SQL进阶及应用开发 数据仓库服务 GaussDB(DWS) 数据库对象设计 01:09:09 数据仓库服务数据库对象设计 数据仓库服务 GaussDB(DWS) 安全与权限设计 52:51 数据仓库服务安全与权限设计 数据仓库服务

查看更多 →

12005000210 J 女 25 J城市 操作步骤 以客户端安装用户，登录安装客户端的节点，客户端安装详细操作请参见安装客户端（3.x及之后版本）。 执行以下命令切换到客户端目录，客户端安装目录如：/opt/client。 cd /opt/client 执行以下命令配置环境变量。

查看更多 →

务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明

查看更多 →

务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明

查看更多 →

务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明

查看更多 →

务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明

查看更多 →

当有3张及以上的表进行Join时，选择不同的Join顺序，执行时间存在较大差异。使用恰当的Join顺序可以有效缩短任务执行时间。 Join顺序原则： Join出来结果较小的组合，例如表数据量小或两张表Join后产生结果较少，优先执行。 Join出来结果大的组合，例如表数据量大或两

查看更多 →

可保留的快照数量。 在“备份内容”中，选择一个或多个需要备份的Hive表。 支持两种方式选择备份数据： 添加备份数据文件 单击导航中某个数据库的名称，将展开显示此数据库中的所有表，勾选指定的表。 MRS 3.2.0及之后版本： 单击“添加”。 在“文件目录”框内选择要备份的表，单击“添加”添加到“备份文件”框内。

查看更多 →

恢复Hive业务数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过 FusionInsight

查看更多 →

1.1.200及以上版本集群支持数据库监控 数据库监控（DMS）通过综合收集到的多种类型数据，对数据库主机、实例、业务SQL进行诊断，及时暴露数据库中关键故障及性能问题，指导客户进行优化解决。 DMS通过可视化的手段将重点数据以图形化的形式展示，从而显著的降低了数据库运维的门槛，

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →