Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 使用Spark小文件合并工具说明 配置流式读取Saprk

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 父主题： 使用Spark/Spark2x

查看更多 →

Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Saprk Driver执行结果 父主题： 使用Spark2x（ MRS

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

Spark Streaming企业级能力增强 配置Spark Streaming对接Kafka时数据后进先出功能 配置Spark Streaming对接Kafka可靠性 配置Structured Streaming使用RocksDB做状态存储 父主题： 使用Spark/Spark2x

查看更多 →

Spark Streaming企业级能力增强 配置Kafka后进先出 配置对接Kafka可靠性 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

使用Spark2x（MRS 3.x及之后版本） 使用前须知 Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

配置Spark SQL防御 操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。 Spark服务运行状态正常。 在租户资源中

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

批量关闭云主机 功能介绍 根据指定的云主机ID列表，批量关机云主机，1分钟内最多可以处理1000台。 本接口为异步接口，当前批量关机云主机请求下发成功后会返回job_id，此时批量关机云主机并没有立即完成，需要通过调用查询任务的执行状态查询job状态，当Job状态为 SUCCESS

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。

查看更多 →

验。 true spark.acls.enable 配置是否开启spark权限管理。 如果开启，将会检查用户是否有权限访问和修改任务信息。 true spark.admin.acls 配置spark管理员列表，列表中成员有权限管理所有spark任务，此处可以配置多个管理员用户，使用“，”分隔。

查看更多 →

在客户端的“spark-default.conf”配置文件中，配置“spark.yarn.keytab”和“spark.yarn.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark.yarn.keytab=<keytab文件路径>

查看更多 →