Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题： 使用Spark2x（ MRS 3.x及之后版本）

查看更多 →

Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 使用Spark小文件合并工具说明 配置流式读取Saprk

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 父主题： 使用Spark/Spark2x

查看更多 →

Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Saprk Driver执行结果 父主题： 使用Spark2x（MRS

查看更多 →

Spark Streaming企业级能力增强 配置Spark Streaming对接Kafka时数据后进先出功能 配置Spark Streaming对接Kafka可靠性 配置Structured Streaming使用RocksDB做状态存储 父主题： 使用Spark/Spark2x

查看更多 →

Spark Streaming企业级能力增强 配置Kafka后进先出 配置对接Kafka可靠性 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

使用Spark2x（MRS 3.x及之后版本） Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强

查看更多 →

Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

服务价格 华为云支持计划以自然月为计量周期，按云服务资源使用量计取支持服务费用。结算时根据云服务用量匹配计费阶梯，用量越大费率越低。 华为云支持计划基础级支持免费提供，其他级别均按云服务消费金额阶梯费率收取服务费： 表1 计划支持服务价格说明 基础级 开发者级 商业级 企业级 免费

查看更多 →

支持类展示暂不支持预估价格资源的列表， 目前支持预估价格的资源列表如表1。 图3 包年包月 图4 按需计费 图5 待支持 表1 已支持预估价格的云服务资源与计费方式 云服务 资源类型 计费方式 E CS （Elastic Cloud Server ） 弹性云服务器 huaweicloud_compute_instance

查看更多 →

价格详情 购买资源包后即可发送短信，资源包额度用尽即停。 按不同类型的短信模板，扣除不同类型资源包内的额度。如您使用行业短信套餐包，则系统会扣除您行业短信资源包内的额度，不影响推广短信资源包。 如有任何疑问，请联系华为云智能客服，将有专人为您解答。 表1 行业短信包（用于验证码短信&通知短信）

查看更多 →

价格详情 使用短信套餐包时，优先扣除已购买套餐包内的额度，超出部分按需计费（套餐包额度计算在阶梯内）。 按不同类型的短信模板，扣除不同类型套餐包内的额度。如您使用行业短信套餐包，则系统会扣除您行业短信套餐包内的额度，不影响推广短信套餐包。 如有任何疑问，请联系华为云智能客服，将有专人为您解答。

查看更多 →

价格详情 以下价格详情适用于中国站（华北-上海一）。 不同购买时长下竞享实例单价如下： 表1 价格详情 竞享实例规格 不同购买时长下单价（元/小时） 规格名称 vCPUs 内存（GB） 1小时 2小时 3小时 4小时 5小时 6小时 c6.large.2 2 4 0.07 0.07

查看更多 →

无优惠场景：升配费用 = 新配置价格 * 剩余周期 - 老配置价格 * 剩余周期 有优惠场景： 折扣场景：升配费用 =（新配置价格 * 剩余周期 - 老配置价格 * 剩余周期）* 折扣 一口价场景：升配费用 =（新配置价格 * 剩余周期 - 老配置价格 * 剩余周期）*（新配置匹配的商务一口价

查看更多 →

Oozie离线分析网站日志 通过Spark分析网页停留时间 Storm动态单词统计 通过JDBC访问SparkSQL 通过Manager接口管理用户 02 购买 您可以灵活选择MRS服务的计费模式、配置项，针对不同的应用场景，选择不同规格的集群和节点。 价格说明 MRS计费说明 价格详情 购买集群

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。

查看更多 →