HDFS：最底层的IO读也是性能的关键，主要考虑的指标是读取和写入的性能，还包括块大小合理设置等。 其中MapReduce/Spark/HDFS组件有自己独立的调优手册及文档，请参考对应组件的调优。本文档重点讨论上述的1，2，3部分的性能调优的内容，并结合MapReduce/Spark的进行调优说明。 批处理业务

查看更多 →

进入“云服务退订”页面。 单击“退订使用中的资源”页签。 单个资源退订与批量退订可使用不同的操作方式： 退订单个资源：单击待退订资源所在行的“退订资源”。 图1 退订单个资源 批量退订：在退订列表中勾选需要退订的资源，单击列表左上角的“退订资源”。 图2 批量退订 在“退订资源

查看更多 →

提供集群状态的监控功能，您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制，您能及时的获取系统的关键信息。 提供服务属性的配置功能，满足您实际业务的性能需求。 提供集群、服务、角色实例的操作功能，满足您一键启停等操作需求。 MRS Manager简介 EIP方式访问集群 通过EIP访问快速便捷的访问Manager，及开源组件Web站点。

查看更多 →

以DWS的SQL作为上层应用的统一入口，应用开发人员使用熟悉的SQL语言即可访问所有数据。 实时交互分析 针对即时的分析需求，分析人员可实时从大数据平台中获取信息。 弹性伸缩 增加节点，即可扩展系统的数据存储能力和查询分析的性能，可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓库 在整个B

查看更多 →

什么是数据仓库？ 随着数据库的大规模应用，使信息行业的数据爆炸式的增长。为了研究数据之间的关系，挖掘数据隐藏的价值，人们越来越多的需要使用联机分析处理OLAP（On-Line Analytical Processing）进行数据分析，探究一些深层次的关系和信息。但是不同的数据库之

查看更多 →

计算文件的md5值 计算一个文件的md5值。 接口调用 std::string hilens::MD5ofFile(const std::string & filepath) 参数说明 表1 参数说明 参数名 说明 file 文件路径。 返回值 字符串，文件的MD5值。如果读取文件失败，则返回空字符串。

查看更多 →

计算文件的md5值 计算文件的md5值。 接口调用 hilens.md5_of_file(file) 参数说明 表1 参数说明 参数名 是否必选 参数类型 描述 file 是 字符串 被计算的文件的路径。 返回值 返回文件的md5值。 父主题： 资源管理模块

查看更多 →

数据仓库服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定公网IP DWS集群运维时间窗检查 父主题： 系统内置预设策略

查看更多 →

域名 和9个与其相关的子域名或泛域名。 同一个域名对应不同端口视为不同的域名，例如www.example.com:8080和www.example.com:8081视为两个不同的域名，将占用两个不同的域名防护额度。 WAF支持上传的证书套数和WAF支持防护的域名的个数相同。例如，购

查看更多 →

本实验通过部署GDS 服务器 ，使用GDS导入导出的并发能力，实现双DWS集群之间1500万行数据分钟级迁移。 2h 安全管理 权限管理 通过实验创建不同用户，不同Schema，基于权限管理实现数据的隔离和互访，了解用户、角色的关系，了解grant的基本用法，了解基于角色的权限管理(RBAC)。 1.5h

查看更多 →

元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。 父主题：

查看更多 →

以 GaussDB (DWS) 的SQL作为上层应用的统一入口，应用开发人员使用熟悉的SQL语言即可访问所有数据。 实时交互分析 针对即时的分析需求，分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点，即可扩展系统的数据存储能力和查询分析的性能，可支持PB级数据的存储和计算。 增强型ETL和实时BI分析

查看更多 →

CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索 （ DLI ） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →

Terraform引擎 Terraform引擎概述 变更计划与任务 实例列表 实例管理 组件列表 变更计划审批信息 插件管理 父主题： 部署服务

查看更多 →

Ustore存储引擎 Ustore简介 存储格式 Ustore事务模型 闪回恢复 常用视图工具 常见问题及定位手段 父主题： 存储引擎

查看更多 →

设置存储引擎 存储引擎会对数据库整体效率和性能具有巨大影响，请根据实际需求选择适当的存储引擎。用户可使用WITH ( [ORIENTATION | STORAGE_TYPE] [= value] [, ... ] )为表或索引指定一个可选的存储参数。参数的详细描述如下所示： ORIENTATION

查看更多 →

规则引擎 配置数据转发规则 导入导出规则 父主题： 设备集成指导

查看更多 →

数据源映射的数量。 华北-北京四 数据联接 为已设计的数据模型添加 数据实例 ，实现连接异构系统，将数据从其他类型的数据源映射到图数据库，彼此有关联的数据形成相互连接的网络。通过建立数据入图任务，即可读写大批量符合要求的数据，以实现数据入图的增量更新。 支持数据入图任务的进度监控。

查看更多 →

台上，记录任一独享引擎实例的流量权重后，将该实例的流量权重设置为“0”。 新的请求不会转发到权重为0的后端。 待业务流量降下来后，升级独享引擎实例版本。 查看独享实例的云监控信息，“新建连接数”较小时（例如，小于5），说明业务流量已经降下来。 在WAF控制台的左侧导航树中，选择“系统管理

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

AUTHORIZATION”区域的组件插件名称“OBS”，为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限。 例如，为“hgroup1”用户组赋予“obs://obs-test/test/”目录的“Read”和“Write”的权限： 在首页中单击“HADOOP SQL”区域的组件插

查看更多 →