大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。比如访问HDFS的WebUI页面，传统的操作方法是需要用户创建E CS ，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。 M

查看更多 →

Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu简介 从零开始使用Kudu Loader组件 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现 MRS 与关系型数据

查看更多 →

择多种安全认证方式，实现跨网络跨地域应用系统数据间的安全访问。 跨系统业务数据集成与转换 介绍如何通过ROMA Connect的数据集成，把业务系统A中的数据进行格式转换后，集成到业务系统B的数据库中使用。后续根据制定的同步计划，定时把业务系统A中新增的数据同步到业务系统B中，保证了两个系统间的数据同步。

查看更多 →

使用Hive组件，必须对Hive数据库和表（含外表和视图）拥有相应的权限。在MRS中，完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。 Hive元数据权限。 与传统关系型数据库类似，MRS的Hive数据库包含“建表”和

查看更多 →

如图2所示。 图1 同一VPC的部署架构 图2 不同VPC场景的部署架构 GaussDB (for MySQL)产品优势 性能强悍：采用计算与存储分离，日志即数据架构，RDMA网络。对于某些业务负载，吞吐量最高可提升至开源MySQL7倍。 弹性扩展：1写15只读节点，分钟级添加只读实例，规格升降级。

查看更多 →

GaussDB(for MySQL)存储容量的计算与传统MySQL有一定的区别，与传统MySQL使用（数据大小+索引大小+空闲空间）计算的容量数据会有一定的差别。 如果要查询精确的存储使用量，可以使用管理控制台查询或者连接GaussDB(for MySQL)数据库后，执行show spaceusa

查看更多 →

分桶表不支持insert into 分桶表（bucket table）不支持insert into，仅支持insert overwrite，否则会导致文件个数与桶数不一致。 使用WebHCat的部分REST接口的前置条件 WebHCat的部分REST接口使用依赖于MapReduce的JobHistoryServer实例，具体接口如下：

查看更多 →

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 前提条件

查看更多 →

Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hado

查看更多 →

动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录； 查询编辑器能够编写简单的SQL，查询存储在Hadoop之上的数据。例如HDFS，HBase，Hive。

查看更多 →

作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限，可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。

查看更多 →

使用Hive组件，必须对Hive数据库和表（含外表和视图）拥有相应的权限。在MRS中，完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。 Hive元数据权限。 与传统关系型数据库类似，MRS的Hive数据库包含“建表”和

查看更多 →

YARN HA方案介绍 YARN HA原理与实现方案 YARN中的ResourceManager负责整个集群的资源管理和任务调度，在Hadoop2.4版本之前，ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceMa

查看更多 →

如何高效备份，容灾 传统场景采用文件或者块存储的数据库系统，备份恢复与数据量强相关，故在大数据量场景下，无法快速备份恢复，进而影响数据库的数据可靠性。 云数据库 GeminiDB基于DFV存储，底层采取Append Only方式存储，并在该基础上结合数据库逻辑进行分布式并行算法优化，极大地提升了数据备份、恢复性能。

查看更多 →

聚合运算等操作向下推给存储层处理，性能相比传统架构提升数十倍。 扩展性 最多添加5个只读节点，添加只读所需时间与数据量大小相关，并且需要增加一份存储。 存储自动扩容，最大支持4TB。 最多添加15只读，由于共享存储，添加只读节点所需时间与数据量大小无关，且无需增加一份存储。 存储自动扩容，最大支持128TB。

查看更多 →

作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限，可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。

查看更多 →

数据备份操作不会保留表的colocate_with属性。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris章节。 创建具有Doris管理权限的用户。

查看更多 →

以继续运行，而不会受到任何影响。 支持分钟级快速恢复，恢复时长与数据大小无关 PITR数据快照文件可以在本地保存，不用上传到冷存储介质，因此，不涉及数据的拷贝搬迁，还可支持随时数据恢复。 PITR恢复，数据恢复时长与数据大小无关，能快速恢复数百GB数据，通常可在5分钟以内恢复数据

查看更多 →

。控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，

查看更多 →

IoTDB基本原理 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大的提升时序数据的查询性能。通过Raft协议，

查看更多 →

操作便捷、简单，实现数据库的迁移和同步“人人都会”。传统场景中，需要专业的技术背景，步骤复杂，技术门槛比较高。 周期短 仅需分钟级就能搭建完成迁移任务，让整个环境搭建“高效快速”。传统场景下需要人工部署，短则几天，长则上周或上月。 低成本 通过服务化迁移，免去了传统的DBA人力成本和

查看更多 →