Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如Spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*

查看更多 →

配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发

查看更多 →

若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件、认证文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

ntConfig_ConfigFiles.tar”，继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”，获取Spark配置文件，并所有的配置文件导入到Spark样例工程的配置文件目录中（通常为“resources”文件夹）。 准备集群认证用户信息时获取的keytab文件也放置于该目录下。

查看更多 →

Scala SparkOnMultiHbaseScalaExample Spark同时访问两个HBase Scala SparkRExample 安装SparkR R SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample

查看更多 →

若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

在页面右上角，单击“安装主机安全Agent”，弹出“安装主机安全Agent”对话框。 选择“ 弹性云服务器 E CS 安装”，并单击“开始配置”。 选择安装方式。 选择安装模式：命令行安装 选择 服务器 操作系统：Linux 选择安装数量：单台 （可选）选择需要打通网络安装Agent的服务器，并单击“下一步”。

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联HBa

查看更多 →

下载客户端”，重新下载并安装Spark客户端，详细操作请参考安装客户端章节，并执行7。 如果不重新下载并安装客户端，则直接执行以下步骤更新Spark客户端配置文件（例如：客户端目录为“/opt/client”，具体以实际为准）： 以root用户登录Spark客户端所在的节点，切换到客户端安装目录。

查看更多 →

修改Flexus L实例 云主机信息 功能介绍 修改云主机信息，目前支持修改云主机名称及描述和hostname，所用接口为ECS的“修改 云服务器 ”接口。本节列举了接口使用过程中的关键信息，接口更多信息详见修改云服务器。 Flexus L实例中云主机所使用的该API接口与ECS相同，

查看更多 →

discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →

Spark读写Hudi资源配置建议 Spark读写Hudi任务资源配置规则，内存和CPU核心的比例2:1，堆外内存和CPU核心比例0.5:1；即一个核心，需要2G堆内存，0.5G堆外内存 Spark初始化入库场景，由于处理的数据量比较大，上述资源配比需要调整，内存和Core的比例

查看更多 →

配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密，以增强安全性。 该章节仅适用于 MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口：登录Manager页面，选择“集群 > 服务 > Spark > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。

查看更多 →

单击“OK”完成编码配置。 样例代码路径说明 表1 样例代码路径说明 样例代码项目 样例名称 样例语言 SparkJavaExample Spark Core程序 Java SparkScalaExample Spark Core程序 Scala SparkPyhtonExample Spark Core程序

查看更多 →

ICAgent管理（华为云主机） 安装ICAgent 升级ICAgent 卸载ICAgent 父主题： 配置管理

查看更多 →

查询Flexus L实例云主机详情 功能介绍 根据云主机ID查询云主机的详细信息，包括云主机的运行状态、云主机名称、公网IP等，所用接口为ECS的“查询云服务器详情”接口。该接口支持查询云主机计费方式，以及是否被冻结。本节列举了接口使用过程中的关键信息，接口更多信息详见查询云服务器详情。

查看更多 →

在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.yarn.session.to.application.clean.enabled 设置为true，Spark将开启定期残余文件清理特性

查看更多 →