- L实例-2C2G2M
- L实例-2C2G3M
- L实例-2C2G4M
活动对象：
（1）新用户专享：华为云官网已完成注册和实名认证，且从未购买过华为云资源的用户（客户等级是V0）可购买；
（2）企业新客专享：仅从未购买过华为云资源（客户等级V0），且已完成企业实名认证用户可购买；
（3）产品新客专享：华为云官网已完成注册和实名认证的用户，且从未购买过华为云当前云产品资源的用户可购买（未限制产品等级）；
（4）新老用户同享：华为云官网已完成注册和实名认证的用户可以购买；
（具体用户范围以届时活动页面展示为准）
活动时间：
2024年5月31日-2024年6月30日（活动期间如有调整，以届时活动页面展示为准）
每天9点限量开抢，售完即止
续费同价说明：
（1）参与条件：Flexus L实例2核2G4M 98元/年，Flexus L实例2核4G5M 188元/年为续费同价优惠产品，参与条件为：新用户专享，新购、续费同价，每个配置限新购1次，续费1次；
（2）续费说明：下单购买后，系统将自动赠送一张续费代金券至费用中心-优惠折扣，预计续费代金券到账时间5分钟左右。Flexus L实例2核2G4M 98元/年 续费代金券面额为满700元减652.2元，Flexus L实例2核4G5M 188元/年续费代金券面额为满1030元减892.2元，续费该实例时勾选代金券，则可以实现续费同价优惠，续费代金券有效期为自购买日起1年内有效，请于代金券有效期内完成续费，代金券过期后不予补发；
（3）退订说明：下单购买该实例后，系统将自动锁定订单，不允许退订；若客户需要退订新购订单，且续费代金券未使用的情况下，可以申请退订，退订时系统将回收未使用的续费代金券，退订费用请查看华为云官网规则说明；若续费代金券已使用，则该实例的新购及续费订单均不可退订；
购买说明：
（1）新用户专享套餐同一用户限购一单，具体台数以活动页面为准；
（2）同一用户规则：同一用户是指根据不同华为云账号在注册、登录、使用中的关联信息，华为云判断其实际为同一用户。包括但不限于下述情形：具备同一证件号（比如身份证号/护照ID/海外驾照ID/企业唯一识别号等）、域名持有者为同一主体（如同一个人、企业等主体）、同一手机号、同一设备、同一IP地址等；
（3）套餐配置：
①云服务器每款默认配置1个公网IP，高IO或通用型SSD 40G系统盘（部分特价机型仅高IO 40G系统盘；Flexus应用服务器L实例系统盘为高IO，规格大小以下单页显示为准）；数据盘有高IO和通用型SSD可选（Flexus应用服务器L实例数据盘为通用型SSD V2），西南-贵阳一和华北-北京一数据中心是静态BGP带宽，其他数据中心配置全动态独享BGP带宽；（以上配置仅供参考，具体配置以下单页面为准）
②本页面促销的国内云服务器购买完成后，如需切换镜像版本，可在控制台内进行切换操作；
②本页面促销的国内及境外云服务器的Windows镜像暂不支持包周期转按需操作；
③境外云服务器，重装系统不支持Linux与Windows互相切换；
④新用户专区region（不含出海云服务器，最终结果以下单页面为准）：
不同区域的云服务产品之间内网互不相通。所购买的相关产品请位于同一区域内，且就近选择靠近您业务的区域，有助于降低业务运行产生异常的风险，减少网络时延，提高访问速度；
（4）续费变更：
促销价仅适用于购买活动页面套餐，续订变更套餐价格（含升配降配）以当期目录价为准，促销价在该场景下不适用，用户选择升配或降配包周期产品前，具体场景或解释说明，请您浏览阅读《变更资源费用说明》
（5）关联账号说明：
关联模式为财务托管的企业认证账号（即财务托管子账号）不具备交易属性，不参与华为云官网活动等相关交易；关联模式为财务独立的企业认证账号可以参与华为云官网活动等相关交易。
为保证活动的公平公正，华为云有权对实施下述行为的用户采取收回套餐使用资格或者活动优惠资格的措施，且华为云亦有权针对异常账号采取限制措施：
1）华为云有合理理由相信用户存在恶意刷取活动资源的行为（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为）；
2）华为云有合理理由相信用户存在利用资源从事违法违规的行为；
华为云保留对活动规则进行调整的权利，包括但不限于活动规则、产品价格、产品类型、产品数量、产品配置等，请以购买时相关页面的最新展示内容为准。
所有参加本活动的华为云注册用户，已认可并同意遵守《华为云用户协议》及通过援引的形式加入的附件，包括《可接受的使用政策》，《隐私政策声明》
-
Spark2x与其他组件的关系
![]()
和执行端（Executor）。控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Blo
来自：帮助中心 -
优化数据倾斜场景下的Spark SQL性能
![]()
数据量少的Task在运行完成后，导致很多CPU空闲，造成CPU资源浪费。 通过如下配置项可开启自动进行数据倾斜处理功能，通过将Hash分桶后数据量很大的、且超过数据倾斜阈值的分桶拆散，变成多个task处理一个桶的数据机制，提高CPU资源利用率，提高系统性能。 未产生倾斜的数据，将采用原有方式进行分桶并运行。
来自：帮助中心 -
优化小文件场景下的Spark SQL性能
![]()
在小文件场景下，您可以通过如下配置手动指定每个Task的数据量（Split Size），确保不会产生过多的Task，提高性能。 当SQL逻辑中不包含Shuffle操作时，设置此配置项，不会有明显的性能提升。 配置描述 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。
来自：帮助中心 -
提交Spark任务时Driver端提示运行内存超限
![]()
cluster! Spark任务提交至Yarn上面，运行task的executor使用的资源受yarn的管理。从报错信息可看出，用户申请启动executor时，指定10G的内存，超出了Yarn设置的每个container的最大内存的限制，导致任务无法启动。 解决办法 修改Yarn的配置，提
来自：帮助中心 -
查询策略组列表
![]()
DISABLED：表示禁用。（默认） SERVER_TO_CLIENT_ENABLED：表示开启服务端到客户端。 CLIENT_TO_SERVER_ENABLED：表示开启客户端到服务端。 TWO_WAY_ENABLED：表示开启双向。 clipboard_file_redirection_enable
来自：帮助中心 -
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录
![]()
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会
来自：帮助中心 -
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录
![]()
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会
来自：帮助中心 -
Spark用户权限管理
![]()
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x
来自：帮助中心 -
Spark Core调优
![]()
Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark2x性能调优
来自：帮助中心 -
Spark SQL join优化
![]()
需要广播的表是分区表，新建表且文件类型为非Parquet文件类型。 需要广播的表是分区表，更新表数据后。 参考信息 被广播的表执行超时，导致任务结束。 默认情况下，BroadCastJoin只允许被广播的表计算5分钟，超过5分钟该任务会出现超时异常，而这个时候被广播的表的broa
来自：帮助中心 -
Spark shuffle异常处理
![]()
“false”，并重启对应的实例。 客户端作业： 客户端应用在提交应用的时候，修改spark-defaults.conf配置文件的“spark.authenticate.enableSaslEncryption”值为“false”。 父主题： Spark2x常见问题
来自：帮助中心 -
Spark2x
![]()
0 执行程序时引入的jackson相关包与集群自带的包版本不一致，导致报错，建议使用集群自带的jackson相关jar包。 集群jar包路径：客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 Spark jar包冲突也可以参考常见jar包冲突处理方式。
来自：帮助中心 -
Spark作业相关问题
![]()
-
Spark Python接口介绍
![]()
当有两个KV的dataset(K,V)和(K,W)，返回的是(K,(V,W))的dataset,numPartitions为并发的任务数。 cogroup(other, numPartitions) 将当有两个key-value对的dataset(K,V)和(K,W)，返回的是(K,
来自：帮助中心 -
Spark应用开发概述
![]()
-
Spark应用开发规则
![]()
动main函数的节点改变了，其他节点无法获取这些变化，因此它们从内存中取出的就是初始化这个变量时的值null，这就是空指针异常的原因。 应用程序结束之前必须调用SparkContext.stop 利用spark做二次开发时，当应用程序结束之前必须调用SparkContext.stop()。
来自：帮助中心 -
Spark应用开发建议
![]()
30%以上的数据），建议使用coalesce算子，手动减少RDD的partition数量，将RDD中的数据压缩到更少的partition中去。因为filter之后，RDD的每个partition中都会有很多数据被过滤掉，此时如果照常进行后续的计算，其实每个task处理的parti
来自：帮助中心 -
调测Spark应用
![]()
调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）
来自：帮助中心 -
Spark常用API介绍
-
Spark常用API介绍
-
Spark应用开发简介
![]()
n下一个RDD的算子。如果直接翻译到物理实现，是很不经济的：一是每一个RDD（即使是中间结果）都需要物化到内存或存储中，费时费空间；二是join作为全局的barrier，是很昂贵的，会被最慢的那个节点拖死。如果子RDD的分区到父RDD的分区是窄依赖，就可以实施经典的fusion优
来自：帮助中心
