欢迎使用 数据仓库 服务 GaussDB (DWS)。数据仓库服务是完全托管的企业级云上数据仓库服务，具备免运维、在线扩展、高效的多源数据加载能力，兼容PostgreSQL生态，并助力企业经济高效地对海量数据进行在线分析，实现数据快速变现。 您可以使用本文档提供的API对数据仓库服务的集

查看更多 →

针对读操作进行优化 针对写操作进行优化 什么是 数据湖 ？ 在企业内部，数据是一类重要资产已经成为了共识。随着企业的持续发展，数据不断堆积，企业希望把生产经营中的所有相关数据都完整保存下来，进行有效管理与集中治理，挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结

查看更多 →

参数。如果配置过大或过小，可能影响作业的时长。 1000 SSL加密 可选参数，支持通过SSL加密方式连接数据库，暂不支持自建的数据库。 是 说明： 启用SSL加密需确保DWS本身已启用SSL加密。 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考

查看更多 →

合适的阈值），另外被rejected的http请求ES-Hadoop是有重试机制的，可修改以下参数: “es.batch.write.retry.count”：默认重试3次。 “es.batch.write.retry.wait”：每次重试等待时间10s。 如果对查询的实时性级别

查看更多 →

Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。 操作步骤 登录 FusionInsight Manager，选择“集群 > 服务 > Hive

查看更多 →

针对读操作进行优化 针对写操作进行优化 什么是数据湖？ 在企业内部，数据是一类重要资产已经成为了共识。随着企业的持续发展，数据不断堆积，企业希望把生产经营中的所有相关数据都完整保存下来，进行有效管理与集中治理，挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

用户数据源迁移和集成的复杂性，是一种高效易用的数据集成服务。目前数据源支持从Kafka、 MRS 源端迁移至GaussDB(DWS)目的端。 该特性仅8.2.0及以上集群版本支持。 支持的数据源 源端数据源 对应的目的端数据源 说明 Kafka 数据仓库服务 GaussDB(DWS)

查看更多 →

Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hado

查看更多 →

快速开发Hive JDBC应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

数据点。 工程 一个完整的工程是由多个任务组成，每个任务是由URL和若干参数组成。 公共模板 不同租户或不同租户下的用户之间共享的项目。用户可以复用其他用户共享的公共模板来快速创建项目，并可根据实际情况修改项目参数。 HDFS HDFS是Hadoop的分布式文件系统，在“数据探索”中可被作为一种文件数据源使用。

查看更多 →

在 CDM 主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型，如图2所示。 这里的连接器类型，是根据待连接的数据源类型分类的，包含了CDM目前支持导入/导出的所有数据源类型。 图2 选择连接器类型 选择数据源类型后，单击“下一步”配置连接参数，这里以创建MySQL连接为例。

查看更多 →

数据在数据仓库服务中是否安全？ 数据仓库使用哪些安全防护？ 可以修改GaussDB(DWS)集群的安全组吗？ LibrA、GaussDB A与GaussDB(DWS)是什么关系？ 数据库、数据仓库、数据湖、湖仓一体分别是什么？ GaussDB(DWS)的脏页是如何产生的？ 如何使用VPC共享来处理GaussDB(DWS)资源？

查看更多 →

在CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型，如图2所示。 这里的连接器类型，是根据待连接的数据源类型分类的，包含了CDM目前支持导入/导出的所有数据源类型。 图2 选择连接器类型 选择数据源类型后，单击“下一步”配置连接参数，这里以创建MySQL连接为例。

查看更多 →

。 选择“是”（推荐选择），会发送通知；选择“否”，不会发送通知。 是 生效时间 该告警规则仅在生效时间内发送通知消息。 如生效时间为00:00-8:00，则该告警规则仅在00:00-8:00发送通知消息。 - 通知对象 需要发送告警通知的主题名称。 当发送通知选择“是”时，需要

查看更多 →

ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常

查看更多 →

什么是LakeFormation LakeFormation是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接 MapReduce服务 （MRS）、数据仓库服务 GaussDB（DW

查看更多 →

华为云数据仓库高级工程师培训 培训简介 智能数据时代，数据库产业技术趋势发生着显著变化，早期数据库产品形态从单机到集群、一体机，当前已经向分布式、云化、智能化演进。面对这些变化趋势及市场机遇，华为云专为打造了云化分布式数据仓库高级工程师培训，旨在培养掌握分布式数据仓库知识体系，熟

查看更多 →

Hive的监控界面查看监控指标“Hive已经使用的HDFS空间大小”。 检查该告警是否恢复。 是，操作结束。 否，执行3。 对系统进行扩容。 对系统进行扩容。 检查该告警是否恢复。 是，操作结束。 否，执行5。 检查数据节点是否正常。 在FusionInsight Manager首页，选择“运维

查看更多 →

快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，适合用于数据仓库的统计分析。 背景信息 假定

查看更多 →

本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。

查看更多 →