配置Spark读写Doris数据 Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表

查看更多 →

Spark的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS，具体请参考配置Spark通过Guardian访问OBS。 修改Spark配置 登录 FusionInsight Manager，选择“集群

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

服务器 配置 进行数据库的设置或连接 最高权限的设置 设定合作伙伴的系统库 服务器部署项目 重启Tomcat服务 父主题： 实施步骤

查看更多 →

如绑定第三方客户端Outlook使用邮箱，需要实现在其客户端同步通讯录数据，则可下载安装该插件后，配置信息后完成通讯录数据同步。 通讯录插件下载：点击下载 1. 安装过程中，选择安装的插件语言（简体中文/繁体中文），安装路径，确保安装的组件已勾选 “Outlook”插件（默认勾选） 2. 安装完成后，重启

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JD BCS erver、Spark

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDB CS erver、Spark

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

请求邮箱数据 接口名称 WEB_GetMailboxDataAPI 功能描述 Web前台向后台请求邮箱数据时调用该接口，包括常用的状态数据和消息数据。 应用场景 该接口用于请求消息数据，同时用于维持客户端和服务端之间的常连接。客户端向服务端发送该请求的时间间隔必须小于60秒。 URL

查看更多 →

公共邮箱发信 用户被授权为公共邮箱使用成员后，可在个人邮箱中使用公共邮箱进行发信。 操作方式：新建邮件-切换发件人-确认发信 2. 公共邮箱发送量：当前公共邮箱支持2000封/天的发信上限，可满足大部分场景使用。 父主题： 公共邮箱

查看更多 →

登录使用邮箱 开通企业邮箱的用户，可登录邮箱前台（前台登录地址：https://mail.sparkspace.huaweicloud.com/），输入账号密码（联营服务-企业管理，创建成员时，成员短信收到的登录账号及密码） *联营服务-企业管理，创建/编辑成员时，管理员可查看所有成员的登录账号。如下图所示：

查看更多 →

单击最右侧的“应用设置”，选择“基础设置”。 在邮箱管理中，单击发件人后的“设置”，可进行邮箱配置。 此邮箱为默认的邮箱服务器地址，对当前租户下的全部应用生效。仅租户可以修改，其他成员只能查看和使用。 图1 邮箱管理 根据界面帮助，设置邮箱信息，单击“确认”。 图2 设置邮箱信息 测试邮箱 邮箱设置完成后，支持

查看更多 →

Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下，并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项 参数 说明 配置示例 spark.network.crypto.enabled 该参数用于启用或禁用数

查看更多 →

App绑定华为云企业邮箱 绑定账号前，请确保已在邮箱个人设置-账号安全，生成客户端密码（可参考第三方客户端绑定专有密码生成）。下方为iOS16系统, Outlook App绑定华为云企业邮箱配置参考。 进入Outlook App设置菜单-添加邮件账户-添加电子邮件账户，输入邮箱地址（可登录

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联HBa

查看更多 →

下载客户端”，重新下载并安装Spark客户端，详细操作请参考安装客户端章节，并执行7。 如果不重新下载并安装客户端，则直接执行以下步骤更新Spark客户端配置文件（例如：客户端目录为“/opt/client”，具体以实际为准）： 以root用户登录Spark客户端所在的节点，切换到客户端安装目录。

查看更多 →