迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？

问题描述

Mysql-TO-DWS迁移过程中，报错“ GENERIC_JDBC_CONNECTOR_0904:ERROR occurs while retrieving data from result. Cause : closed connection:stream closed con:192.168.XX.XX.”。

故障分析

1. 考虑用户数据量大，或连接中断异常导致报错，检查客户连接高级属性配置，是否配置超时时间参数设置及设置情况：

   

2. 用户连接参数超时时间“6000000”毫秒，已经足够大。进一步排查客户Mysql数据库是否异常，将日志中打印查询源端的sql在Mysql客户端执行，看是否报错以及报错情况：

   

3. 发现执行查询语句，全表查询，报错“Lost connection to MySQL server during query”，再次尝试执行count语句，查询数据，发现成功。
4. 根据分析，考虑是Mysql配置“max_allowed_packet”参数太小导致报错，参考以下链接排查，发现Mysql已经设置最大为1G，无法再增大。
5. 据以上分析，发现未能解决，再次回顾排查过程，发现遗漏一点关键点，客户连接器参数配置，“一次请求行数”配置“3000”，可能会导致某批次查询数据超过1G，故而报错。

解决方案

1. 用户修改连接器参数配置，“一次请求行数”修改为“1000”。
2. 用户使用where条件语句，根据时间定期迁移部分数据。