Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题： 使用Spark2x（ MRS 3.x及之后版本）

查看更多 →

Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题： 使用Spark2x（MRS

查看更多 →

Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数

查看更多 →

Spark Streaming企业级能力增强 配置Spark Streaming对接Kafka时数据后进先出功能 配置Spark Streaming对接Kafka可靠性 配置Structured Streaming使用RocksDB做状态存储 父主题： 使用Spark/Spark2x

查看更多 →

Spark Streaming企业级能力增强 配置Kafka后进先出 配置对接Kafka可靠性 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数

查看更多 →

专属优惠 申请云商店专属优惠 查看云商店专属优惠 分享云商店商品链接 查看云商店优惠商品 父主题： 云商店

查看更多 →

使用Spark2x（MRS 3.x及之后版本） Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

ullify”脱敏策略处理。 配置Spark动态脱敏 修改JD BCS erver实例配置，登录 FusionInsight Manager页面，选择“集群 > 服务 > Spark > 配置 > 全部配置 > JDB CS erver（角色）”： 使用Ranger鉴权场景，在参数“custom”中添加如下自定义参数：

查看更多 →

专属优惠 申请云商店专属优惠 查看云商店专属优惠和商务折扣 分享云商店商品链接 查看云商店优惠商品 父主题： 云商店

查看更多 →

优惠折扣 优惠券 现金券 储值卡 查看商务折扣

查看更多 →

专属优惠 申请云商店专属优惠 查看云商店专属优惠和商务折扣 分享云商店商品链接 查看云商店优惠商品 父主题： 云商店

查看更多 →

升配费用计算公式： 无优惠场景：升配费用 = 新配置价格 * 剩余周期 - 老配置价格 * 剩余周期 有优惠场景： 折扣场景：升配费用 =（新配置价格 * 剩余周期 - 老配置价格 * 剩余周期）* 折扣 一口价场景：升配费用 =（新配置价格 * 剩余周期 - 老配置价格 * 剩余周期）*（新配置匹配的商务一口价

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

示例：客户购买了一台包月云主机ECS，并绑定了一块系统盘，配置了VPC网络。客户对该云主机续费时，绑定的系统盘需一起续费，VPC网络可单独续费。 解决方案组合产品、软件开发云套餐不支持对套餐中的部分资源进行续费，需整体续费。 小颗粒套餐有续费优惠时，只支持整体续费；小颗粒套餐没有续费优惠时，支持对套餐中的资源分开续费。

查看更多 →

配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →