如何在DLI中运行复杂PySpark程序?
数据湖探索(DLI)服务对于PySpark是原生支持的。
对于数据分析来说Python是很自然的选择,而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序,通常会把程序打成Jar包并依赖其他一些第三方的Jar,同样的Python程序也有依赖一些第三方库,尤其是基于PySpark的融合机器学习相关的大数据分析程序。传统上,通常是直接基于pip把Python库安装到执行机器上,对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源,那如何来保证用户可以完美运行他的程序呢?
DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库(具体可以参考”数据湖探索 DLI > 用户指南> 数据管理> 程序包管理> 内置依赖包”),这些常用算法库满足了大部分用户的使用场景。对于用户的PySpark程序依赖了内置算法库未提供的程序库该如何呢?其实PySpark本身就已经考虑到这一点了,那就是基于PyFiles来指定依赖,在DLI Spark作业页面中可以直接选取存放在OBS上的Python第三方程序库(支持zip、egg等)。

对于依赖的这个Python第三方库的压缩包有一定的结构要求,例如,PySpark程序依赖了模块moduleA(import moduleA),那么其压缩包要求满足如下结构:

即在压缩包内有一层以模块名命名的文件夹,然后才是对应类的Python文件,通常下载下来的Python库可能不满足这个要求,因此需要重新压缩。同时对压缩包的名称没有要求,所以建议可以把多个模块的包都压缩到一个压缩包里。至此,已经可以完整的运行起来一个大型、复杂的PySpark程序了。
Spark作业相关问题所有常见问题
- Spark如何将数据写入到DLI表中
- 如何查看DLI Spark作业的实际资源使用情况
- DLI Spark作业是否支持定时周期任务作业
- 通用队列操作OBS表如何设置AK/SK
- 运行Spark作业报java.lang.AbstractMethodError
- Spark作业访问MySQL数据库的方案
- 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?
- 添加Python包后,找不到指定的Python环境
- 如何在DLI中运行复杂PySpark程序?
- Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误
- Spark作业运行大批量数据时上报作业运行超时异常错误
- Spark SQL语法创建表时是否支持定义主键
- 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度
more
