大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式 数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合

查看更多 →

什么是数据仓库服务 数据仓库服务 GaussDB (DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务，兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法，同时兼容PostgreSQL/Oracle/T

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

数据仓库服务 GaussDB(DWS) Organizations服务中的服务控制策略（Service Control Policy，以下简称SCP）可以使用以下授权项元素设置访问控制策略。 SCP不直接进行授权，只划定权限边界。将SCP绑定到组织单元或者成员账号时，并没有直接对

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

内网采集权限与原理 主机深度采集 权限要求： Windows系统：需要提供具有Administrator权限的账号。 Linux系统：需要提供root账号。 采集原理： Windows系统：通过WinRM服务从Edge访问Windows主机，执行PowerShell脚本采集系统信息。

查看更多 →

ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常

查看更多 →

IoTDB基本原理 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大的提升时序数据的查询性能。通过Raft协议，

查看更多 →

点，这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍，请参见：https://flume.apache.org/releases/1.9.0.html。 Flume原理 Agent之间的可靠性 Agent之间数据交换流程如图4所示。 图4 Agent数据传输流程

查看更多 →

Manager基本原理 Manager功能 Manager是 MRS 的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

CronFederatedHPA工作原理 CronFederatedHPA的工作原理如图1。创建CronFederatedHPA策略时，可以设定一个具体的时间，基于设定的时间调整HPA策略的最大和最小Pod数，也可以直接定时调整工作负载中的Pod数量。 图1 CronFederatedHPA工作原理 单独使用CronFederatedHPA

查看更多 →

DB(DWS)集群和迁移管理以及了解GaussDB(DWS)数据库的高级特性，将具备数据仓库对象创建、管理和查询，数据仓库基础运维，数据仓库的安全配置及管理等能力，胜任数据仓库二次开发和数据仓库管理运维岗位。 HCIP-GaussDB(for MySQL) 培养和认证具备基于GaussDB(for

查看更多 →

图解数据仓库服务

查看更多 →

了解更多常见问题、案例和解决方案 热门案例 数据库、数据仓库、 数据湖 、湖仓一体分别是什么？ 为什么要使用云数据仓库服务GaussDB(DWS)？ 无法连接数据仓库集群时怎么处理？ 如何选择公有云DWS或者公有云RDS？ 数据在数据仓库服务中是否安全？ 如何清理与回收存储空间？ 更多 数据库连接

查看更多 →

获取数据仓库列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数

查看更多 →

如何免费试用数据仓库服务？ 免费试用活动仅限新用户可以参加。如果您的账号从未创建过GaussDB(DWS)集群，且已完成实名认证，就有资格免费试用GaussDB(DWS)服务1个月。 您可以登录GaussDB(DWS) 管理控制台，单击“立即申请试用”开通免费试用套餐。不同区域之

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

火墙。 图1 企业路由器使用方法 当您了解了企业路由器的使用方法后，接下来将为您详细介绍企业路由器的工作原理。工作原理如图2所示，详细说明请参见表2。 图2 企业路由器工作原理图 表1 网络流量路径说明 序号 路径 说明 1 请求路径：VPC1→DC全域接入网关 从VPC1去往D

查看更多 →

DDS节点脱节原理和说明 副本集架构由主节点、备节点和隐藏节点组成，DDS自动搭建三节点的副本集供用户使用，节点之间数据自动同步，保证数据的高可靠性。对于需要保证高可用的中小型业务系统，推荐使用副本集。 主节点：即Primary节点，用于读写请求。 备节点：即Secondary节点，用于读请求。

查看更多 →