睿治数据治理平台 安装环境 安装程序及依赖驱动清单 产品典型部署架构图 产品WAR包单机部署 产品WAR包集群部署 实时处理服务部署 边缘采集节点部署 初始化 服务器 系统诊断 疑难问题处理方案及数据库权限分配 父主题： 实施步骤

查看更多 →

为4个子网分别供给数据接入、数据存储计算、数据服务、数据应用使用。 图2 服务部署设计 完成网络规划后，可根据网络架构展开细化部署架构。 数据集成设计 在数据集成中，针对不同场景可以选择不同的数据集成技术栈。以下是一些常见的数据集成技术栈及其适用场景： 批量数据集成：使用 CDM ，

查看更多 →

华为云 MapReduce服务 （ MRS ）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Had

查看更多 →

可定期备份NameNode的数据。 提供数据可靠性相关操作 在调用write函数写入数据时，HDFS客户端并不会将数据写入HDFS，而是缓存在客户端内存中，此时若客户端异常、断电，则数据丢失。对于有高可靠要求的数据，应该写完后，调用hflush将数据刷新到HDFS侧。 父主题： HDFS应用开发规范

查看更多 →

implements Closeable { 表分区优化建议 当数据量较大，且经常需要按天统计时，建议使用分区表，按天存放数据。 为了避免在插入动态分区数据的过程中，产生过多的小文件，在执行插入时，在分区字段上加上distribute by。 存储文件格式优化建议 Hive支持多种存储格式，比如Te

查看更多 →

Kafka表开发建议 Kafka作为source表时应设置限流 本章节适用于MRS 3.3.0及以后版本。 防止上限超过流量峰值，导致作业异常带来不稳定因素。因此建议设置限流，限流上限应该为业务上线压测的峰值。 【示例】 #如下参数作用在每个并行度 'scan.records-per-second

查看更多 →

高（毫秒内~毫秒级） 数据量 小，建议1GB以内 大，TB级 中，GB级 存储资源 内存消耗大，单个TM全量存储 外置存储，无存储资源消耗 各TM分散存储，内存+磁盘存储 时效性 周期性数据加载，时效低 相对高 高 关联数据结果 低 中 - 大数据量的维度表建议采用HBase 数据量比较大，

查看更多 →

设计时应避免HBase随机查找、排序的应用场景。 业务表设计建议 预分Region，使Region分布均匀，提高并发 避免过多的热点Region。根据应用场景，可考虑将时间因素引入Rowkey。 同时访问的数据尽量连续存储。同时读取的数据相邻存储；同时读取的数据存放在同一行；同时读取的数据存放在同一cell。 查询

查看更多 →

各个版本API选择建议如下： 如果您开发工具对于OpenStack兼容性有要求，建议选择ELB API v2.0相关接口。 如果您使用VPC、E CS 的Openstack API创建了vpc和ecs的资源，建议和ELB API v2.0配套一起使用。 如果您开通了企业项目功能，建议选择ELB

查看更多 →

API版本选择建议 SSH密钥对提供了V3、V2.1和V2两个版本，建议您使用V3版本，能够更好的满足您的需求。 父主题： 使用前必读

查看更多 →

API版本选择建议 随着版本升级，如下接口已废弃，不推荐使用： 创建端口（废弃） 查询端口（废弃） 查询端口列表（废弃） 更新端口（废弃） 删除端口（废弃） 父主题： 使用前必读

查看更多 →

API版本选择建议 GES API版本与软件版本相对应，1.0.0为起始版本号，其余版本均在起始版本基础上进行修改，且向下兼容。具体请参考管理面API概览和内存版中各接口对应的版本号。 建议您根据需要选择合适的版本进行操作。 父主题： 使用前必读

查看更多 →

开发设计建议概述 开发设计建议约定数据库建模和数据库应用程序开发过程中，应当遵守的设计规范。依据这些规范进行建模，能够更好地契合 GaussDB 的分布式处理架构，输出更高效的业务SQL代码。 开发设计建议中所陈述的“建议”和“关注”含义如下： 建议：用户应当遵守的设计规则。遵守这些

查看更多 →

格，规格详情请参考数据库实例规格。 超规格使用，可能会导致不可预知的问题；严重时有可能导致数据库不可用。 建议：使用ELB连接数据库，详情请参见通过负载均衡地址连接实例（推荐）。 建议：如果开启了冷存储，在一个时间段的数据已经转冷后，不建议再写入该时间段的数据，否则会引起未知问题。

查看更多 →

数据底座模块部署 服务信息如下： 账号密码 安装Manager 配置集群 安装服务 父主题： 实施步骤

查看更多 →

API版本选择建议 API风格说明 当前EVS服务对外的API存在以下两种风格： EVS服务自定义规范的API，以下简称为EVS自定义API。 顺从OpenStack社区标准原生规范的API，以下简称为OpenStack Cinder API。 两者风格不同，功能相近。OpenStack

查看更多 →

API版本选择建议 DSC仅提供了V1版本的API，供您使用。 父主题： 使用前必读

查看更多 →

API版本选择建议 NAT网关支持v2.0和v2两个版本的API接口。v2版本接口为较新的版本，产品将持续对v2版本的接口进行优化和功能加强，推荐您使用v2版本API接口。 父主题： 使用前必读

查看更多 →

threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数，但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区，分区一般设置为节点个数的倍数。

查看更多 →

tition所有的数据，如果内存不够，垃圾回收时是无法回收掉太多对象的，很可能出现OOM异常。所以使用这类操作时要慎重！ 使用filter之后进行coalesce操作。 通常对一个RDD执行filter算子过滤掉RDD中较多数据后（比如30%以上的数据），建议使用coalesce

查看更多 →

audit_system_object 作用：该参数决定是否对数据库对象的CREATE、DROP、ALTER操作进行审计。数据库对象包括DATABASE、USER、SCHEMA、TABLE等。通过修改该配置参数的值，可以只审计需要的数据库对象的操作，在主备强制选主场景建议audit_system_object取最大值，所有DDL对象全部审计。

查看更多 →