文档首页> 数据湖探索 DLI> 常见问题> Spark作业相关问题> 作业开发> Spark作业访问MySQL数据库的方案
更新时间:2023-07-05 GMT+08:00
分享

Spark作业访问MySQL数据库的方案

通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案:

  • 方案1:在DLI中创建队列,队列计费模式为包年/包月队列或按需专属,创建增强型跨源连接,再通过跨源表读取MySQL数据库中的数据,该方案需要用户自行编写java代码或scala代码。
  • 方案2:先使用云数据迁移服务CDM将MySQL数据库中的数据导入OBS桶中,再通过Spark作业读取OBS桶中的数据,如果用户已有CDM集群,该方案比方案1简单,且不会对现有数据库造成压力。
分享:

作业开发 所有常见问题

more