Spark读写Hudi资源配置建议 Spark读写Hudi任务资源配置规则，内存和CPU核心的比例2:1，堆外内存和CPU核心比例0.5:1；即一个核心，需要2G堆内存，0.5G堆外内存 Spark初始化入库场景，由于处理的数据量比较大，上述资源配比需要调整，内存和Core的比例

查看更多 →

配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密，以增强安全性。 该章节仅适用于 MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口：登录Manager页面，选择“集群 > 服务 > Spark > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。

查看更多 →

discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →

资源和成本规划 建议采用分布式部署的方式： DPE按五个节点来配置云 服务器 资源； DCE按三个节点来配置云服务器资源； 后期随着业务量的增加，可支持横向扩展云服务器资源，以满足业务使用。 表1 资源和成本规划 组件 云资源 规格 数量 每月费用（元） 备注 DPE DPE控制平面

查看更多 →

服务器基础配置 本方案基于H CS 底座部署，华为云的欧拉系统：基于稳定的Linux内核研发出面向企业级的通用服务器架构平台——Euler OS（Open Euler OS 2.8开源欧拉操作系统），支持ARM64鲲鹏处理器和容器虚拟化技术。 由HCS底座运维人员提供相关的操作系统、镜像和 云服务器 。

查看更多 →

DNS服务器配置 选择默认DNS服务器或者添加DNS服务器地址， 域名 防护策略将会按照您配置的域名服务器进行IP解析并下发。 当前账号拥有多个防火墙时，DNS解析操作仅应用于设置的防火墙。 约束条件 最多支持自定义2个DNS服务器。 DNS服务器配置 登录管理控制台。 单击管理控制台左上角的，选择区域。

查看更多 →

> 云商店 > 专属优惠”页面。 在“专属优惠”页面，伙伴可以单击右上角的“创建优惠”按钮，进入“创建专属优惠”页面，填写信息后单击“提交”进行创建专属优惠。 支持一个商品多规格设置不同的折扣。 单击“批量设置折扣与分成”，可以批量设置折扣与分成。 在“专属优惠申请”页签，伙伴可以查看专属优惠申请的记录。

查看更多 →

在“专属优惠”页签，伙伴可以查看已审核通过的专属优惠记录。 单击，伙伴可以查看产品ID、商品规格、计费模式、周期类型、交易模式、分成比例和申请的客户折扣信息。 单击页面上方的“操作记录”按钮，查看专属优惠失效、删除记录。 对于“待生效”的专属优惠，可单击“操作”列的“删除”，删除专属优惠。

查看更多 →

查看云商店优惠商品 加入云商店客户服务商计划的总经销商名下的云经销商可以查看优惠商品。 操作步骤 使用合作伙伴账号登录华为云。 单击页面右上角账号下拉框中的“伙伴中心”，进入伙伴中心。 在顶部导航栏中选择“销售 > 云商店 > 专属优惠”页面。 “优惠商品”页面包含商品报价和配置单报价

查看更多 →

minBaseValueRatio 优惠券使用比例限制 优惠券使用比例限制（最小门槛值百分比）。 - 代金券额度 canSetValidTime 优惠券有效期可调整 伙伴发放优惠券时，是否可调整券的有效期。 0：不可调整（保持和优惠券额度有效期相同） 1：可调整（可以在优惠券额度有效期内选择） 默认：0（不可设置）

查看更多 →

配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发

查看更多 →

导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*

查看更多 →

若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件、认证文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

ntConfig_ConfigFiles.tar”，继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”，获取Spark配置文件，并所有的配置文件导入到Spark样例工程的配置文件目录中（通常为“resources”文件夹）。 准备集群认证用户信息时获取的keytab文件也放置于该目录下。

查看更多 →

Scala SparkOnMultiHbaseScalaExample Spark同时访问两个HBase Scala SparkRExample 安装SparkR R SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample

查看更多 →

若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如Spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

ECS是一款支持高负载应用场景的服务器，提供多种计费模式、规格类型、镜像类型、磁盘类型，针对不同的业务场景，均可自定义配置。 Flexus云服务器X实例与Flexus应用服务器 L实例 、ECS的详细区别如表1。 表1 Flexus应用服务器L实例、Flexus云服务器X实例和ECS的区别 项目

查看更多 →