图3 配置通用文件系统 （可选）单击“添加挂载路径”，可配置多条挂载路径。 单击“确定”，完成通用文件系统配置。 在“云存储配置”页面中可查看配置好的通用文件系统。 使配置生效。 如已完成组件部署，单击页面上方“生效配置”。在右侧弹框中确认配置信息，并单击“确定”，使配置生效。

查看更多 →

通用型规格 集群 副本集 父主题： 测试数据

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

ullify”脱敏策略处理。 配置Spark动态脱敏 修改JD BCS erver实例配置，登录 FusionInsight Manager页面，选择“集群 > 服务 > Spark > 配置 > 全部配置 > JDB CS erver（角色）”： 使用Ranger鉴权场景，在参数“custom”中添加如下自定义参数：

查看更多 →

Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用 MRS 集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数

查看更多 →

Flexus应用服务器 L实例 规格 Flexus应用服务器L实例中的云主机为X86架构、KVM虚拟化类型，云主机底层使用的物理硬件资源与ECS一致，同vCPUs、内存的云主机与ECS计算能力在同一标准。 表1 预置实例规格 区域 云主机vCPU/内存规格 系统盘容量/类型 峰值带宽 | 流量包

查看更多 →

批量启动云主机 功能介绍 根据指定的云主机ID列表，批量启动云主机，1分钟内最多可以处理1000台。所用接口为ECS的“批量启动 云服务器 ”接口。本节列举了接口使用过程中的关键信息，接口更多信息详见批量启动云服务器。 该接口为异步接口，当前批量启动云主机请求下发成功后会返回job_

查看更多 →

通用型测试数据 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 表1 CPU:内存=1:2 CPU(Core)

查看更多 →

通用型测试数据 本节提供RDS for PostgreSQL 14 X86通用型SSD云盘测试数据。 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 如下表中的“最大连接数（压力测试值）”是RD

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 如下表中的“最大连接数（压力测试值）”是RD

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 根据业务场景的不同，RDS for MySQL

查看更多 →

通用型测试数据 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 表1 CPU:内存=1:2 CPU(Core)

查看更多 →

通用型测试数据 本节提供RDS for PostgreSQL 15 X86通用型SSD云盘测试数据。 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。

查看更多 →

通用型测试数据 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 表1 CPU:内存=1:2 CPU(Core)

查看更多 →

批量重启云主机 功能介绍 根据指定的云主机ID列表，批量重启云主机，1分钟内最多可以处理1000台。所用接口为ECS的“批量重启云服务器”接口。本节列举了接口使用过程中的关键信息，接口更多信息详见批量重启云服务器。 本接口为异步接口，当前批量重启云主机请求下发成功后会返回job_

查看更多 →

批量关闭云主机 功能介绍 根据指定的云主机ID列表，批量关机云主机，1分钟内最多可以处理1000台。所用接口为ECS的“批量关闭云服务器”接口。本节列举了接口使用过程中的关键信息，接口更多信息详见批量关闭云服务器。 本接口为异步接口，当前批量关机云主机请求下发成功后会返回job_

查看更多 →

配置Spark读写Doris数据 Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表

查看更多 →

Spark的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS，具体请参考配置Spark通过Guardian访问OBS。 修改Spark配置 登录FusionInsight Manager，选择“集群

查看更多 →

配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →