文档首页/ 数据湖探索 DLI/ 常见问题/ Spark作业相类/ Spark作业开发类/ 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？
更新时间：2024-11-06 GMT+08:00
查看PDF
分享

将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？

  1. 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下：
    1. 将egg包上传到指定的OBS桶路径下。
    2. 登录DLI管理控制台，单击“数据管理 > 程序包管理”。
    3. 在“程序包管理”页面，单击右上角“创建”可创建程序包。
    4. 在“创建程序包”对话框，配置如下参数：
      • 包类型：PyFile。
      • OBS路径：选择1.aegg包所在的OBS路径。
      • 分组设置和分组名称根据情况选择。
    5. 单击“确定”完成程序包上传。
    6. 在报错的Spark作业编辑页面，“依赖python文件”处选择已上传的egg程序包，重新运行Spark作业。
  2. pyspark作业对接MySQL，需要创建跨源链接，打通DLI和RDS之间的网络。

    通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。

    通过API创建跨源连接请参考《数据湖探索API参考》。

父主题： Spark作业开发类

相关文档