- L实例-2C2G2M
- L实例-2C2G3M
- L实例-2C2G4M
活动对象：
（1）新用户专享：华为云官网已完成注册和实名认证，且从未购买过华为云资源的用户（客户等级是V0）可购买；
（2）企业新客专享：仅从未购买过华为云资源（客户等级V0），且已完成企业实名认证用户可购买；
（3）产品新客专享：华为云官网已完成注册和实名认证的用户，且从未购买过华为云当前云产品资源的用户可购买（未限制产品等级）；
（4）新老用户同享：华为云官网已完成注册和实名认证的用户可以购买；
（具体用户范围以届时活动页面展示为准）
活动时间：
2024年5月31日-2024年6月30日（活动期间如有调整，以届时活动页面展示为准）
每天9点限量开抢，售完即止
续费同价说明：
（1）参与条件：Flexus L实例2核2G4M 98元/年，Flexus L实例2核4G5M 188元/年为续费同价优惠产品，参与条件为：新用户专享，新购、续费同价，每个配置限新购1次，续费1次；
（2）续费说明：下单购买后，系统将自动赠送一张续费代金券至费用中心-优惠折扣，预计续费代金券到账时间5分钟左右。Flexus L实例2核2G4M 98元/年 续费代金券面额为满700元减652.2元，Flexus L实例2核4G5M 188元/年续费代金券面额为满1030元减892.2元，续费该实例时勾选代金券，则可以实现续费同价优惠，续费代金券有效期为自购买日起1年内有效，请于代金券有效期内完成续费，代金券过期后不予补发；
（3）退订说明：下单购买该实例后，系统将自动锁定订单，不允许退订；若客户需要退订新购订单，且续费代金券未使用的情况下，可以申请退订，退订时系统将回收未使用的续费代金券，退订费用请查看华为云官网规则说明；若续费代金券已使用，则该实例的新购及续费订单均不可退订；
购买说明：
（1）新用户专享套餐同一用户限购一单，具体台数以活动页面为准；
（2）同一用户规则：同一用户是指根据不同华为云账号在注册、登录、使用中的关联信息，华为云判断其实际为同一用户。包括但不限于下述情形：具备同一证件号（比如身份证号/护照ID/海外驾照ID/企业唯一识别号等）、域名持有者为同一主体（如同一个人、企业等主体）、同一手机号、同一设备、同一IP地址等；
（3）套餐配置：
①云服务器每款默认配置1个公网IP，高IO或通用型SSD 40G系统盘（部分特价机型仅高IO 40G系统盘；Flexus应用服务器L实例系统盘为高IO，规格大小以下单页显示为准）；数据盘有高IO和通用型SSD可选（Flexus应用服务器L实例数据盘为通用型SSD V2），西南-贵阳一和华北-北京一数据中心是静态BGP带宽，其他数据中心配置全动态独享BGP带宽；（以上配置仅供参考，具体配置以下单页面为准）
②本页面促销的国内云服务器购买完成后，如需切换镜像版本，可在控制台内进行切换操作；
②本页面促销的国内及境外云服务器的Windows镜像暂不支持包周期转按需操作；
③境外云服务器，重装系统不支持Linux与Windows互相切换；
④新用户专区region（不含出海云服务器，最终结果以下单页面为准）：
不同区域的云服务产品之间内网互不相通。所购买的相关产品请位于同一区域内，且就近选择靠近您业务的区域，有助于降低业务运行产生异常的风险，减少网络时延，提高访问速度；
（4）续费变更：
促销价仅适用于购买活动页面套餐，续订变更套餐价格（含升配降配）以当期目录价为准，促销价在该场景下不适用，用户选择升配或降配包周期产品前，具体场景或解释说明，请您浏览阅读《变更资源费用说明》
（5）关联账号说明：
关联模式为财务托管的企业认证账号（即财务托管子账号）不具备交易属性，不参与华为云官网活动等相关交易；关联模式为财务独立的企业认证账号可以参与华为云官网活动等相关交易。
为保证活动的公平公正，华为云有权对实施下述行为的用户采取收回套餐使用资格或者活动优惠资格的措施，且华为云亦有权针对异常账号采取限制措施：
1）华为云有合理理由相信用户存在恶意刷取活动资源的行为（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为）；
2）华为云有合理理由相信用户存在利用资源从事违法违规的行为；
华为云保留对活动规则进行调整的权利，包括但不限于活动规则、产品价格、产品类型、产品数量、产品配置等，请以购买时相关页面的最新展示内容为准。
所有参加本活动的华为云注册用户，已认可并同意遵守《华为云用户协议》及通过援引的形式加入的附件，包括《可接受的使用政策》，《隐私政策声明》
-
提交Spark任务时Driver端提示运行内存超限
![]()
cluster! Spark任务提交至Yarn上面，运行task的executor使用的资源受yarn的管理。从报错信息可看出，用户申请启动executor时，指定10G的内存，超出了Yarn设置的每个container的最大内存的限制，导致任务无法启动。 解决办法 修改Yarn的配置，提
来自：帮助中心 -
调整Spark Core进程参数
![]()
tainer的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。 操作步骤 配置Driver内存。 Driver负责任务的调度，和Executor、AM之间的消息通信。当任务数变多，任务平行
来自：帮助中心 -
配置进程参数
![]()
cutor的个数相当于增大了任务的并发度。在资源充足的情况下，可以相应增加Executor的个数，以提高运行效率。 将“spark-defaults.conf”中的“spark.executor.instance”配置项或者“spark-env.sh”中的“SPARK_EXECU
来自：帮助中心 -
配置进程参数
![]()
因而Driver和Executor的参数配置对spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。 操作步骤 配置Driver内存。 Driver负责任务的调度，和Executor、AM之间的消息通信。当任务数变多，任务平行度增大时，Driver内存都需要相应增大。
来自：帮助中心 -
Spark Core内存调优
![]()
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
来自：帮助中心 -
创建Spark作业
![]()
用于设置Spark作业申请的每个Executor的CPU核数，决定每个Executor并行执行Task的能力。 Executor个数 用于设置Spark作业申请的Executor的数量。 driver CPU核数 用于设置driver CPU核数。 driver内存 在用于设置driver内存大小，通常建议即driver
来自：帮助中心 -
Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住
![]()
MORY和SPARK_DRIVER_MEMORY两个参数取值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果对核数有要求，可以搜索并修改spark.driver.cores和spark.executor.cores的核数取值。 Spark依赖内存做计算，如
来自：帮助中心 -
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象
![]()
数到达保留的上限值（当前默认值为1000个），旧的UI数据才会在内存中被清除。 因此，在将旧的UI数据从内存中清除之前，UI数据会占用大量内存，从而导致执行10T的TPCDS测试套时出现Driver内存不足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark
来自：帮助中心 -
配置内存
![]()
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults
来自：帮助中心 -
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象
![]()
数到达保留的上限值（当前默认值为1000个），旧的UI数据才会在内存中被清除。 因此，在将旧的UI数据从内存中清除之前，UI数据会占用大量内存，从而导致执行10T的TPCDS测试套时出现Driver内存不足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark
来自：帮助中心 -
spark.yarn.executor.memoryOverhead设置不生效如何处理？
![]()
executor.memoryOverhead的值为最终值。 同样的参数还有driver的overhead内存设置：spark.driver.memoryOverhead 解决步骤 使用新版本参数设置executor的overhead内存： spark.executor.memoryOverhead=4096
来自：帮助中心 -
配置Spark事件队列大小
![]()
iver在创建SparkContext对象时，会启动一个线程循环的从该队列中依次拿出一个事件，然后发送给各个Listener，每个Listener感知到事件后就会做各自的处理。 因此当队列存放的速度大于获取的速度时，就会导致队列溢出，从而丢失了溢出的事件，影响了UI、EventL
来自：帮助中心 -
配置事件队列的大小
![]()
SparkContext对象时，会启动一个线程循环的从该队列中依次拿出一个事件，然后发送给各个Listener，每个Listener感知到事件后就会做各自的处理。 因此当队列存放的速度大于获取的速度时，就会导致队列溢出，从而丢失了溢出的事件，影响了UI、EventLog、动态资源
来自：帮助中心 -
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
![]()
run(Thread.java:745) 回答 用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在O
来自：帮助中心 -
配置内存
![]()
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
来自：帮助中心 -
怎样查看弹性资源池和作业的资源使用情况？
![]()
怎样查看弹性资源池和作业的资源使用情况？ 在大数据分析的日常工作中，合理分配和管理计算资源，可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序，调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的剩余可用CUs，才可以确保作业任务的正常执行。
来自：帮助中心 -
常用参数
![]()
Shuffle才能使用这个功能。在使用Spark作为一个常驻的服务时候，动态资源调度将大大的提高资源的利用率。例如JDBCServer服务，大多数时间该进程并不接受JDBC请求，因此将这段空闲时间的资源释放出来，将极大的节约集群的资源。 表5 参数说明 参数 描述 默认值 spark.dynamicAllocation
来自：帮助中心 -
配置Spark Executor堆内存参数
![]()
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults
来自：帮助中心 -
常用参数
![]()
Shuffle才能使用这个功能。在使用Spark作为一个常驻的服务时候，动态资源调度将大大的提高资源的利用率。例如JDBCServer服务，大多数时间该进程并不接受JDBC请求，因此将这段空闲时间的资源释放出来，将极大的节约集群的资源。 表5 参数说明 参数 描述 默认值 spark.dynamicAllocation
来自：帮助中心 -
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
![]()
run(Thread.java:745) 回答 用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在O
来自：帮助中心 -
Spark基本原理
![]()
需要对数据或者日志的更新进行备份来保障容错性。这样就会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容
来自：帮助中心
