应用场景 该解决方案基于华为云弹性云服务器 ECS，帮助您快速搭建跨境电商店铺管理环境。提供入门级、标准级、增强级三个规格：入门级，搭配1U1G云服务器+1Mbit带宽；标准级，搭配1U2G云服务器+2Mbit带宽；增强级，搭配2U4G云服务器+5Mbit带宽。适用于跨境电商卖家如下场景：

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

Spark on HBase程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

Spark on HBase程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartition接口使用

查看更多 →

Spark on HBase程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

以及对数仓相关领域人员进行技能提升。 华为云欧拉操作系统入门级开发者认证（HCCDA - Huawei Cloud EulerOS）：面向云计算初学者，培训与认证华为云欧拉操作系统的理论知识和实操能力。 GaussDB入门级开发者认证-Java（HCCDA – GaussDB in

查看更多 →

Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark2x性能调优

查看更多 →

配置为-1时，将不进行广播。 参见https://spark.apache.org/docs/3.1.1/sql-programming-guide.html。 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadc

查看更多 →

Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录FusionInsight Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryp

查看更多 →

Spark作业相关问题 使用咨询 作业开发 作业运维报错 运维指导

查看更多 →

Spark on OBS调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics.switch

查看更多 →

在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现： org.apache.spark.serializer.KryoSerializer：性能好，兼容性差 org.apache.spark.serializer.JavaSerializer：性能一般，兼容性好

查看更多 →

org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

查看更多 →

Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样，建议使用集群自带jar包。

查看更多 →