图3 配置通用文件系统 （可选）单击“添加挂载路径”，可配置多条挂载路径。 单击“确定”，完成通用文件系统配置。 在“云存储配置”页面中可查看配置好的通用文件系统。 使配置生效。 如已完成组件部署，单击页面上方“生效配置”。在右侧弹框中确认配置信息，并单击“确定”，使配置生效。

查看更多 →

通用型规格 集群 副本集 父主题： 测试数据

查看更多 →

Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用 MRS 集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

服务价格 华为云支持计划以自然月为计量周期，按云服务资源使用量计取支持服务费用。结算时根据云服务用量匹配计费阶梯，用量越大费率越低。 华为云支持计划基础级支持免费提供，其他级别均按云服务消费金额阶梯费率收取服务费： 表1 计划支持服务价格说明 基础级 开发者级 商业级 企业级 免费

查看更多 →

价格预估 进入创建成功的执行计划页面，会在界面上看到“查看费用明细”按钮，如图1 ，单击后服务会进行价格预估并展示价格预估结果，如图2 图1 查看费用明细 图2 费用明细 费用明细页面分包年/包月，如图3，按需计费如图4，待支持如图5三个类别展示资源价格。 包年/包月类、按需计费

查看更多 →

价格详情 购买资源包后即可发送短信，资源包额度用尽即停。 按不同类型的短信模板，扣除不同类型资源包内的额度。如您使用行业短信套餐包，则系统会扣除您行业短信资源包内的额度，不影响推广短信资源包。 如有任何疑问，请联系华为云智能客服，将有专人为您解答。 表1 行业短信包（用于验证码短信&通知短信）

查看更多 →

资源和成本规划 该解决方案主要部署如下资源，不同产品的花费仅供参考，实际以收费账单为准，具体请参考华为云官网价格： 表1 资源和成本规格-弹性云服务器部署(包年包月) 华为云服务 配置示例 每月预估花费 弹性云服务器 E CS 区域：华北-北京四 计费模式：包年包月 规格：X86计算

查看更多 →

CentOS 7.9 64bit 系统盘: 通用型SSD | 100GB 数据盘: 通用型SSD | 150GB 弹性公网IP: 全动态BGP | 独享 | 按带宽计费 | 10Mbit/s 1 包周期 1 月 ￥2374.00 弹性云服务器 规格: X86计算 | 通用计算增强型 |

查看更多 →

资源和成本规划 该解决方案主要部署如下资源，不同产品的花费仅供参考，实际以收费账单为准，具体请参考华为云官网价格： 表1 资源和成本规划(按需计费) 华为云服务 配置示例 每月预估花费 弹性云服务器 ECS 按需计费：0.38元/小时 区域：华北-北京四 计费模式：按需计费 规格：X86计算

查看更多 →

资源和成本规划 该解决方案主要部署如下资源，不同产品的花费仅供参考，实际以收费账单为准，具体请参考华为云官网价格： 表1 资源和成本规格（包年包月） 华为云服务 配置示例 每月预估花费 弹性云服务器 ECS 区域：华北-北京四 计费模式：包年包月 规格：X86计算 | ECS |

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

资源和成本规划 该解决方案主要部署如下资源，以下费用仅供参考，具体请参考华为云官网价格计算器，实际收费以账单为准。 表1 资源和成本规划（按需计费） 华为云服务 计费说明 每月花费 弹性云服务器 ECS -- TiDB 区域：华北-北京四 按需计费：3.52元/小时 规格：通用计算增强型

查看更多 →

该解决方案主要部署如下资源，不同产品的花费仅供参考，具体请参考华为云官网价格详情，实际收费以账单为准。 表1 资源和成本规划（按需计费） 华为云服务 配置示例 每月预估花费 华为云Flexus云服务器X实例 按需计费：0.27元/小时 区域：华北-北京四 规格：Flexus云服务器X实例

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

true spark.acls.enable 配置是否开启Spark权限管理。 如果开启，将会检查用户是否有权限访问和修改任务信息。 true spark.admin.acls 配置Spark管理员列表，列表中成员有权限管理所有Spark任务，此处可以配置多个管理员用户，使用“

查看更多 →

资源和成本规划 该解决方案主要部署如下资源，不同产品的花费仅供参考，实际以收费账单为准，具体请参考华为云官网价格： 表1 资源和成本规划（包年包月） 华为云服务 配置示例 每月预估花费 弹性云服务器 ECS 区域：华北-北京四 计费模式：包年包月 规格：X86计算 | ECS |

查看更多 →