若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件、认证文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*

查看更多 →

Scala SparkOnMultiHbaseScalaExample Spark同时访问两个HBase Scala SparkRExample 安装SparkR R SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如Spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

优惠”按钮，进入“创建专属优惠”页面，填写信息后单击“提交”进行创建专属优惠。 支持一个商品多规格设置不同的折扣。 单击“批量设置折扣与分成”，可以批量设置折扣与分成。 在“专属优惠申请”页签，伙伴可以查看专属优惠申请的记录。 不同产品类型对应的审核状态会有所不同。比如当产品类型

查看更多 →

查看云商店优惠商品 加入云商店客户服务商计划的伙伴可以查看优惠商品。 操作步骤 使用合作伙伴账号登录华为云。 单击页面右上角账号下拉框中的“伙伴中心”，进入伙伴中心。 在顶部导航栏中选择“销售 > 云商店 > 专属优惠”页面。 “优惠商品”页面包含商品报价和配置单报价页签，支持伙

查看更多 →

查看云商店优惠商品 加入云商店客户服务商计划的总经销商伙伴可以查看优惠商品。 操作步骤 使用合作伙伴账号登录华为云。 单击页面右上角账号下拉框中的“伙伴中心”，进入伙伴中心。 在顶部导航栏中选择“销售 > 云商店 > 专属优惠”页面。 “优惠商品”页面包含商品报价和配置单报价页签

查看更多 →

优惠券是什么？ 优惠券是代金券和折扣券的统称，是指华为云提供给客户的优惠凭证，通常有一定的使用限制。例如，优惠券都有有效期限制，某些优惠券只适用于指定类型的云服务。 代金券 华为云代金券是面向客户和合作伙伴发放，具有一定面值，在购买华为云服务时抵减现金支付的一种优惠凭证。 支付订

查看更多 →

配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密，以增强安全性。 该章节仅适用于 MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口：登录Manager页面，选择“集群 > 服务 > Spark > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。

查看更多 →

Spark读写Hudi资源配置建议 Spark读写Hudi任务资源配置规则，内存和CPU核心的比例2:1，堆外内存和CPU核心比例0.5:1；即一个核心，需要2G堆内存，0.5G堆外内存 Spark初始化入库场景，由于处理的数据量比较大，上述资源配比需要调整，内存和Core的比例

查看更多 →

单击“OK”完成编码配置。 样例代码路径说明 表1 样例代码路径说明 样例代码项目 样例名称 样例语言 SparkJavaExample Spark Core程序 Java SparkScalaExample Spark Core程序 Scala SparkPyhtonExample Spark Core程序

查看更多 →

discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →

折扣同享”。 示例2： 客户购买包年/包月云服务，恰好有优惠活动（如买3年送1年等促销活动），已享受促销价，支付时不能再使用账号下的折扣优惠和优惠券。 优惠券使用说明： 优惠券包含代金券和折扣券，是指华为云提供给客户的优惠凭证，通常有一定的使用限制。 代金券的使用规则请参见 代金券使用限制解读

查看更多 →

SAS：高IO云硬盘 GPSSD：通用型SSD云硬盘 SSD：超高IO云硬盘 ESSD：极速型SSD云硬盘 GPSSD2.storage：通用型SSD V2云硬盘容量 GPSSD2.iops：通用型SSD V2云硬盘IOPS GPSSD2.throughput：通用型SSD V2云硬盘吞吐量

查看更多 →

SAS：高IO云硬盘 GPSSD：通用型SSD云硬盘 SSD：超高IO云硬盘 ESSD：极速型SSD云硬盘 GPSSD2.storage：通用型SSD V2云硬盘容量 GPSSD2.iops：通用型SSD V2云硬盘IOPS GPSSD2.throughput：通用型SSD V2云硬盘吞吐量

查看更多 →

如何使用通过I代云 服务器 创建的私有镜像创建II代云服务器 操作场景 由于通用型/内存优化型II代的云服务器与通用型/内存优化型I代的云服务器具有不同的虚拟化架构和不同的驱动类型，所以通用型/内存优化型I代云服务器创建的私有镜像需要经过优化才能用来创建II代云服务器。 操作步骤 以下操作步骤以通用型云服务器为例。

查看更多 →

数量 每月费用（元） 备注 弹性云服务器 规格: X86计算 | 通用计算增强型 | c7.6xlarge.2 | 24核 | 48GB；镜像: CentOS | CentOS 7.6 64bit；系统盘: 通用型SSD | 50GB；数据盘: 通用型SSD | 100GB 3 7713

查看更多 →