更新时间:2022-05-05 GMT+08:00
Spark作业访问MySQL数据库的方案
通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案:
- 方案1:在DLI中购买包年/包月队列或按需专属队列,创建增强型跨源连接,再通过跨源表读取MySQL数据库中的数据,该方案需要用户自行编写java代码或scala代码。
- 方案2:先使用云数据迁移服务CDM将MySQL数据库中的数据导入OBS桶中,再通过Spark作业读取OBS桶中的数据,如果用户已有CDM集群,该方案比方案1简单,且不会对现有数据库造成压力。
父主题: Spark作业相关问题
Spark作业相关问题所有常见问题
- Spark如何将数据写入到DLI表中
- 如何查看DLI Spark作业的实际资源使用情况
- DLI Spark作业是否支持定时周期任务作业
- 通用队列操作OBS表如何设置AK/SK
- 运行Spark作业报java.lang.AbstractMethodError
- Spark作业访问MySQL数据库的方案
- 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?
- 添加Python包后,找不到指定的Python环境
- 如何在DLI中运行复杂PySpark程序?
- Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误
- Spark作业运行大批量数据时上报作业运行超时异常错误
- Spark SQL语法创建表时是否支持定义主键
- 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度
more
