配置Spark SQL防御 操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。 Spark服务运行状态正常。 在租户资源中

查看更多 →

通用型规格 集群 副本集 父主题： 测试数据

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

管理云主机 实例生命周期 查看 云服务器 详细信息及相关操作 设置/重置密码 重装操作系统 切换操作系统 父主题： 云耀云服务器L实例

查看更多 →

AMD64、ARM 支持的场景：spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.plugins Spark用到的插件，参数值设置为io

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

如何将老版本的Spark队列切换成通用型队列 当前 DLI 服务包括“SQL队列”和“通用队列”两种队列类型。 其中，“SQL队列”用于运行SQL作业，“通用队列”兼容老版本的Spark队列，用于运行Spark作业和Flink作业。 通过以下步骤，可以将老版本的“Spark队列”转换为新的“通用队列”。

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 如下表中的“最大连接数（压力测试值）”是RD

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 如下表中的“最大连接数（压力测试值）”是RD

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 如下表中的“最大连接数（压力测试值）”是RDS性能压力测试的结果

查看更多 →

通用型测试数据 本节提供RDS for PostgreSQL 14 X86通用型SSD云盘测试数据。 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。

查看更多 →

通用型测试数据 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 表1 CPU:内存=1:2 CPU(Core)

查看更多 →

配置 MRS Spark数据连接 表1 MRS Spark数据连接 参数 是否必选 说明 数据连接类型 是 MRS Spark连接固定选择为 MapReduce服务 （MRS Spark）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

通用型测试数据 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 表1 CPU:内存=1:2 CPU(Core)

查看更多 →

通用型测试数据 本节提供RDS for PostgreSQL 15 X86通用型SSD云盘测试数据。 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。

查看更多 →

配置Spark是否获取HBase Token 配置场景 使用Spark提交任务时，Driver默认会去HBase 获取Token ，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理：

查看更多 →

配置Spark是否获取HBase Token 配置场景 使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理：

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

Spark Spark应用开发规则 Spark应用开发建议

查看更多 →

discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →