更新时间:2023-07-05 GMT+08:00
Spark作业访问MySQL数据库的方案
通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案:
- 方案1:在DLI中创建队列,队列计费模式为包年/包月队列或按需专属,创建增强型跨源连接,再通过跨源表读取MySQL数据库中的数据,该方案需要用户自行编写java代码或scala代码。
- 方案2:先使用云数据迁移服务CDM将MySQL数据库中的数据导入OBS桶中,再通过Spark作业读取OBS桶中的数据,如果用户已有CDM集群,该方案比方案1简单,且不会对现有数据库造成压力。
父主题: 作业开发
作业开发 所有常见问题
more