配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

true spark.acls.enable 配置是否开启Spark权限管理。 如果开启，将会检查用户是否有权限访问和修改任务信息。 true spark.admin.acls 配置Spark管理员列表，列表中成员有权限管理所有Spark任务，此处可以配置多个管理员用户，使用“

查看更多 →

如绑定第三方客户端Outlook使用邮箱，需要实现在其客户端同步日程数据，则可下载安装该插件后，配置信息后完成日程数据同步。 插件下载：点击下载 安装过程中，选择安装的插件语言（简体中文/繁体中文），安装路径，确保安装的组件已勾选 “Outlook”插件（默认勾选） 安装完成后，重启outlo

查看更多 →

在客户端的“spark-default.conf”配置文件中，配置“spark.yarn.keytab”和“spark.yarn.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark.yarn.keytab=<keytab文件路径>

查看更多 →

AMD64、ARM 支持的场景：spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.plugins Spark用到的插件，参数值设置为io

查看更多 →

配置Spark多租户模式 配置场景 多租户模式是将JD BCS erver和租户绑定，每一个租户对应一个或多个JDB CS erver，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 配置描述 登录Manager，选择“集群 > 服务

查看更多 →

邮箱密码错，在哪修改邮箱密码？ 您好，目前邮箱配置分三种类型： 允许员工任意邮箱登录，如果密码错误，用户可根据自己使用邮箱的要求自行找回密码后登录即可； 企业自定义邮箱登录，如果密码错误，可根据企业当前使用的邮箱要求找回密码，或者咨询企业管理员； 体验租户使用的Coremail登

查看更多 →

企业信息设置邮箱 服务器 ，测试失败 问题描述 邮箱测试失败，提示“测试邮件发送失败，请检查配置。”。 原因分析 配置的“发件人”和“用户姓名”不匹配， 需要检查及确认配置信息。 图1 邮箱配置信息 解决方案 部分邮箱会有限制，如QQ邮箱，“用户姓名”需去掉邮箱 域名 。 图2 去掉邮箱域名 父主题：

查看更多 →

如绑定第三方客户端Outlook使用邮箱，需要实现在其客户端同步通讯录数据，则可下载安装该插件后，配置信息后完成通讯录数据同步。 通讯录插件下载：点击下载 1. 安装过程中，选择安装的插件语言（简体中文/繁体中文），安装路径，确保安装的组件已勾选 “Outlook”插件（默认勾选） 2. 安装完成后，重启

查看更多 →

邮箱登录地址 1. 登录地址： 进入“买家中心-我的云商店-已购买的服务”。查看“华为云企业邮箱”商品的资源详情，即可查看邮箱前后台地址。或直接通过下方邮箱前后台地址进入： 管理端：点击进入 （https://mail.sparkspace.huaweicloud.com/webadmin）

查看更多 →

邮箱登录失败？ 您好，授权码是用于登录第三方客户端的专用密码，QQ邮箱和网易邮箱的授权码获取请参考如下操作指导： 1、QQ邮箱授权码：如何获取QQ邮箱授权码？ 2、网易邮箱授权码：如何获取网易邮箱授权码？ 如果不是QQ邮箱或网易邮箱，通常是提供的邮箱服务器地址和端口错误，需要管理

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark

查看更多 →