文档首页> 数据湖探索 DLI> 常见问题> Spark作业相关问题> 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?
更新时间:2022-05-05 GMT+08:00
分享

将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?

  1. 缺少pymysql模块,可以查看是否有对应的egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下:
    1. 将egg包上传到指定的OBS桶路径下。
    2. 登录DLI管理控制台,单击“数据管理 > 程序包管理”。
    3. 在“程序包管理”页面,单击右上角“创建”可创建程序包。
    4. 在“创建程序包”对话框,配置如下参数:
      • 包类型:PyFile。
      • OBS路径:选择1.aegg包所在的OBS路径。
      • 分组设置和分组名称根据情况选择。
    5. 单击“确定”完成程序包上传。
    6. 在报错的Spark作业编辑页面,“依赖python文件”处选择已上传的egg程序包,重新运行Spark作业。
  2. pyspark作业对接MySQL,需要创建跨源链接,打通DLI和RDS之间的网络。通过管理控制台创建跨源连接请参考《数据湖探索用户指南》,通过API创建跨源连接请参考《数据湖探索API参考》。
分享:

Spark作业相关问题所有常见问题

more

close