图3 配置通用文件系统 （可选）单击“添加挂载路径”，可配置多条挂载路径。 单击“确定”，完成通用文件系统配置。 在“云存储配置”页面中可查看配置好的通用文件系统。 使配置生效。 如已完成组件部署，单击页面上方“生效配置”。在右侧弹框中确认配置信息，并单击“确定”，使配置生效。

查看更多 →

小颗粒套餐有续费优惠时，只支持整体续费；小颗粒套餐没有续费优惠时，支持对套餐中的资源分开续费。 示例： 客户购买了一台包年/包月 弹性云服务器 的促销套餐（规格为s6.small.1E CS +VPC网络），若该套餐有续费优惠时，则需整体续费才能享受该优惠；若该套餐没有续费优惠，可对该包年/包月弹性 云服务器 和VPC分开续费。

查看更多 →

通用型规格 集群 副本集 父主题： 测试数据

查看更多 →

Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用 MRS 集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

专属优惠 申请云商店专属优惠 查看云商店专属优惠 分享云商店商品链接 查看云商店优惠商品 父主题： 云商店

查看更多 →

优惠折扣 优惠券 现金券 储值卡 查看商务折扣

查看更多 →

专属优惠 申请云商店专属优惠 查看云商店专属优惠和商务折扣 分享云商店商品链接 查看云商店优惠商品 父主题： 云商店

查看更多 →

专属优惠 申请云商店专属优惠 查看云商店专属优惠和商务折扣 分享云商店商品链接 查看云商店优惠商品 父主题： 云商店

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

true spark.acls.enable 配置是否开启Spark权限管理。 如果开启，将会检查用户是否有权限访问和修改任务信息。 true spark.admin.acls 配置Spark管理员列表，列表中成员有权限管理所有Spark任务，此处可以配置多个管理员用户，使用“

查看更多 →

在客户端的“spark-default.conf”配置文件中，配置“spark.yarn.keytab”和“spark.yarn.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark.yarn.keytab=<keytab文件路径>

查看更多 →

AMD64、ARM 支持的场景：spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.plugins Spark用到的插件，参数值设置为io

查看更多 →

快速配置Spark参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。

查看更多 →

配置Spark多租户模式 配置场景 多租户模式是将JD BCS erver和租户绑定，每一个租户对应一个或多个JDBCServer，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 配置描述 登录Manager，选择“集群 > 服务

查看更多 →

配置Spark SQL防御规则 操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。 Spark服务运行状态正常。 在租户资

查看更多 →