基于OBS配置大数据存算分离集群

增强OpenSearch集群搜索能力 OpenSearch集群搜索增强特性介绍 配置OpenSearch集群向量检索 配置OpenSearch集群存算分离 切换OpenSearch集群冷热数据 父主题： 使用OpenSearch搜索数据

查看更多 →

的普通集群，Ranger可以支持基于OS用户进行组件资源的权限控制。 Ranger鉴权的具体策略请参见鉴权策略。 OBS存算分离细粒度鉴权 对于OBS存算分离集群，如果您想对OBS上的资源进行细粒度的权限控制，可以通过 MRS 提供的基于IAM委托的细粒度权限控制方案进行配置，请参见配置MRS多用户访问OBS细粒度权限。

查看更多 →

元数据的参数描述中，1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统，OBS需要基于大数据存算分离场景进行分离部署；LakeFormation元数据的存储位置对应OBS路径，与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 Lake

查看更多 →

创建及管理OpenSearch索引策略 通过索引生命周期管理实现OpenSearch集群自动滚动索引 通过索引生命周期管理实现OpenSearch集群存算分离 父主题： 使用OpenSearch搜索数据

查看更多 →

COST08 进行架构优化 COST08-01 按地域规划应用架构 COST08-02 云原生架构改造 COST08-03 存算分离 COST08-04 Serverless探索 父主题： 成本优化支柱

查看更多 →

配置Elasticsearch集群存算分离 配置Elasticsearch集群读写流量控制策略2.0 配置Elasticsearch集群读写流量控制策略1.0 配置Elasticsearch集群大查询隔离 配置Elasticsearch集群聚合增强 配置Elasticsearch集群读写分离 切换Elasticsearch集群冷热数据

查看更多 →

配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题： 配置MRS集群存算分离

查看更多 →

创建和管理Elasticsearch索引策略 通过索引生命周期管理实现Elasticsearch集群自动滚动索引 通过索引生命周期管理实现Elasticsearch集群存算分离 父主题： 使用Elasticsearch搜索数据

查看更多 →

仍不足可以继续磁盘扩容，若扩容失败用户可尝试重新进行磁盘扩容操作。 磁盘扩容功能仅8.1.1.203及以上版本支持，并且创建集群规格需要为存算一体SSD云盘类型。 集群状态为“可用”、“待重启”、“只读”、“非均衡”、“节点故障”或者 “不可用”的情况下才能下发磁盘扩容。 注意事项

查看更多 →

支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件

查看更多 →

B(DWS)几种常见的SQL调优手段。 2h 云原生3.0 云原生3.0数仓-存算分离 本实验指导用户创建 GaussDB (DWS)新一代Serverless云原生数仓，并体验Serverless存算分离架构下的极致查询。 2h 云原生3.0数仓-湖仓一体 本实验指导用户创建Gau

查看更多 →

OBS控制台，选择左侧列表的“并行文件系统”，即可查看快速部署的并行文件系统。 图2 查看创建的并行文件系统 创建存算分离集群 该示例帮助您创建 MapReduce服务 ，在新建集群中配置现有委托实现存算分离，并开启Kerberos认证。 MRS版本：3.2.0-LTS.1 集群类型：分析集群 有关MapReduce服务

查看更多 →

的备份信息保持一致。 存算一体（单机部署）暂不支持快照功能。 存算分离集群仅9.0.2及以上集群版本支持快照功能，但是带有弹性逻辑集群的存算分离集群不支持备份恢复。如果集群有弹性逻辑集群备份恢复会失败，建议将弹性逻辑集群回收后，再执行备份恢复操作。 存算分离集群混合计费的快照恢复

查看更多 →

配置Hive表不同分区分别存储至OBS和HDFS 操作场景 存算分离场景下，Hive分区表支持不同的分区分别指定不同的存储源，可以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力，关于Hive如何在存算分离场景下对接OBS，对接指

查看更多 →

GaussDB(DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异，详情请参见 数据仓库 类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 存算一体规格 存算一体1:8云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表1。

查看更多 →

业务侧原本做了数据分片，切换到GeminiDB Redis后如何处理这部分逻辑 充分考虑到业务后期的规模扩张，GeminiDB Redis采用存算分离架构，在计算层实现了动态数据分片管理，提供强劲的平滑扩缩容能力。 因此，接入GeminiDB Redis实例后，业务侧无需再做数据分片。

查看更多 →

数仓类型 计费项 停止是否计费 按需 直通盘（存算一体） 节点 是 云盘虚拟机（存算分离） 节点 否 磁盘 是 裸金属BMS 节点 否 Serverless集群 节点 否 磁盘 否 包周期 直通盘（存算一体） 节点 是 云盘虚拟机（存算分离） 节点 是 磁盘 是 裸金属BMS 节点 是

查看更多 →

故障恢复 系统级故障恢复 DLI 系统采用存算分离的架构，计算集群基于K8s资源调度和故障切换机制，在系统故障时，支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制，在开启自动重启功能后，当作业出现异常时将自动重启恢复作业。 父主题： 安全

查看更多 →

方案概述 应用场景 该方案基于 对象存储服务 OBS和MapReduce服务 MRS，帮助用户在华为云上快速搭建大数据存算分离集群。MRS是一个在华为云上部署和管理Hadoop系统的服务，通过为MRS集群绑定弹性云服务 E CS 委托方式访问OBS，实现用户使用MRS集群作数据计算处理

查看更多 →

前支持Hadoop 3.x版本，并且随集群演进更新版本。 同时MRS也支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。 更多信息MRS各版本支持的组件情况请参见MRS组件版本一览表。 父主题： 产品咨询类

查看更多 →

应用开发简介 湖仓构建 （DataArts Lake Formation，简称LakeFormation）是企业级 数据湖 一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务

查看更多 →