更新时间：2025-12-17 GMT+08:00
数据集成（实时作业）
- 问题案例总览
- 进行PostgreSQL增量DDL同步需要做哪些准备？
- 数据源和migration资源组网络不通如何排查？
- 数据源安全组放通哪些端口可满足Migration访问？
- 如何查看实时作业已消费位点并恢复作业？
- 作业启动失败且报错信息包含“User account not found or disabled in iam”怎么办？
- 如何配置Hudi Compaction的Spark周期任务？
- DLI到Hudi实时同步中，作业开启同步新增字段后，DLI SQL show create table无法查询到新增字段怎么办？
- 写Hudi同步过程中报错，错误信息包含“java.lang.NumberFormatException: For input string”怎么办？
- 写Hudi同步过程中报错，错误信息包含“HoodieException: Duplicate fileID”怎么办？
- Hudi到Doris实时同步中，源端DECIMAL类型作为主键自动建Doris表报错，错误信息包含“String Type should not be used in key column[xxx]”怎么办？
- Hudi作为目的端时，如果表路径为OBS路径，报错信息包含“Exception when get temporary security key”怎么办？
- Hudi作为目的端时，实时网络连接主机信息未配置报错，错误信息包含关键字“IllegalArgumentException: java.net.UnknownHostException：{MRS主机信息}”怎么办？
- Hudi作为目的端时，如果作业启动失败，并且MRS集群安全组仅开放了TCP协议端口，遇到“javax.security.auth.login.LoginException: Receive timed out”错误，怎么办？
- Hudi作为目标端时，如果作业启动时出现异常，且错误信息中包含“HoodieIndexException: Unsupported index type BUCKET”怎么办？
- Hudi作为目的端时，作业启动失败且报错信息包含“Table XXX is partitioned by field, which is conflict with input options”怎么办？
- Hudi作为目标端时，如果作业启动失败且错误信息包含“Custom defined extra column is missing in schema which is predefined in config”怎么办？
- 在实时集成作业中，如果遇到附加字段UDF类型中表达式里配置的输入字段不存在怎么办？
- 在实时集成作业中，作业启动失败报错信息包含关键字“Parse generate hadoop config response failed”怎么办？
- 在实时集成作业中，作业启动失败提示账号的hadoop权限不足，报错信息包含关键字“org.apache.hadoop.security.AccessControlException: Permission denied”怎么办？
- 在实时集成作业中，作业运行异常报错信息包含关键字“Ddl type 'ALTER_COLUMN_TYPE' is configured with policy 'EXCEPTION”怎么办？
- 在实时集成作业中，作业运行异常报错信息包含关键字“Ddl type 'ALTER_ADD_COLUMN' is configured with policy 'EXCEPTION”怎么办？
- 在实时集成作业中，如果作业运行时出现异常，主键为空，报错信息包含关键字“HoodieKeyException: recordKey values: 'id:__null__' for fields: [xxx] cannot be entirely null or empty”怎么办？
- 在实时集成作业中，如果作业运行时出现异常，预聚合键为空，报错信息包含关键字“The value of col_double can not be null”怎么办？
- 在实时集成作业中，并发写入Hudi表导致作业异常，报错信息包含关键字“Receive an unexpected event for instant”怎么办？
- 在实时集成作业中，作业启动失败报错信息包含关键字“Found commits after time :20250728163331006, please rollback greater commits first”怎么办？
- Hudi作为目的端时，checkpoint超时导致作业重试，多次重试后异常且报错信息包含“Checkpoint expired before completing”、“Checkpoint Coordinator is suspending”怎么办？
- Hudi作为目的端时，同步过程中报错且报错信息包含“HoodieException: Duplicate fileID”怎么办？
- 如何连接已开启SASL认证的DMS Kafka？
- 将数据增量同步到Kafka时遇到异常，错误信息中包含“The message is xxx bytes when serialized which is larger than”，应如何处理？
- Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？
- MySQL源端作业如何查看已消费位点？
- MySQL增量同步过程中报错，错误信息包含“The connector is trying to read binlog starting at Struct xxx but this is no longer available on the server”怎么办？
- MySQL到Doris实时同步中，源端tinyint(1)类型写入报错，报错信息包含“column(xx) value is incorrect while strict mode is true, src value is xxx”怎么办？
- MySQL到DWS增量同步中报错，报错信息包含“tinyint out of range”怎么办？
- PostgreSQL数据源如何手动删除复制槽？
- 如何增加PostgreSQL、GaussDB数据源额外权限？
- PostgreSQL/GaussDB作为源端时，实时作业启动失败且报错信息包含“all replication slots are in use”怎么办？
- PostgreSQL/GaussDB作为源端时，作业启动失败且报错信息包含“permission denied for function pg_ls_waldir”怎么办？
- PostgreSQL/GaussDB作为源端时，作业启动失败且报错信息包含“replication slot "xxx" is already active”怎么办？
- PostgreSQL/Gaussdb源端作业如何查看已消费位点？
- SQLServer源端作业如何查看已消费位点？
- Oracle源端作业如何查看已消费位点?
- Oracle作为源端时，增量读取过程中报socket超时，信息包含“java.sql.SQLRecoverableExeception: IO Error: Socket read timed out”怎么办？
- Oracle作为源端时，增量启动过程中报不支持CONTINOUS_MINE，关键字“oracle.jdbc.OracleDatabaseException: ORA-44609: CONTINOUS_MINE is desupported for use with DBMS_LOGMNR.START_LOGMNR”怎么办？
- 在Oracle增量读取过程中，数据库日志失效，报错信息包含“ORA-01292: no log file has been specified for the current LogMiner session”怎么办？
- Oracle作为源端时在全量同步的过程中，报数据库历史记录内容完全或者部分缺失， 报错信息包含“The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.”怎么办？
- Oracle增量读取启动时提示补充日志未开启, 报错信息包含“Supplemnt logging not properly configured”怎么办？
- 在Oracle启动增量过程中，报无法读取V$DATABASE视图，错误信息为“cannot read the redo log position via 'SELECT CURRENT_SCN FROM V$DATABASE', make sure your server is correctly configured”怎么办？
- Oracle数据源如何开通归档日志、查询权限和日志解析权限？
- Oracle 在读取全量或增量数据时遇到日志解析失败，错误信息包含“DmlParserException: DML statement couldn't be parsed”，应如何处理？
- GaussDB作为源端时，增量同步过程中报错且信息包含“no gs_hba.conf entry for replication connection from host "xxxx", user "xxx", SSL off”怎么办？
- GaussDB作为源端时，增量同步过程中报错且信息包含“number of requested standby connections exceeds max_wal_senders”怎么办？
- GaussDB到DWS实时同步中，开启逻辑删除时写入DWS报错，错误信息包含“null value in column "xxx" violates not-null constraint”怎么办？
- 在写DWS同步过程中，目的端包含date字段类型时报错，错误信息包含“Text 'xxx' could not be parsed, unparsed text found at index 10”怎么办？
- MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？
- MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？
- MySQL到DWS增量同步过程中报错，包含关键字“value too long for type character varying”怎么办？
- 在MySQL到DWS链路的实时同步过程中，如果启动任务后出现异常，且报错信息中包含“tinyint out of range”，应如何处理？
