作业任务参数调优
概述
实时数据集成服务底层使用Flink流处理框架进行开发，因此包含了Flink系统中最重要的两个部分：JobManager和TaskManager。
作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager的，默认情况下单个作业使用2U8G资源，会对应创建出1个JobManager进程和1个TaskManager进程，且均使用1U4G资源。
作业调优
默认场景下，给定的1U4G规格可满足绝大部分使用场景，但Migration服务也提供修改JobManager和TaskManager规格的能力以应对极端情况。例如最常见的作业内存溢出，可以在实时集成作业的“任务配置”中添加自定义属性，根据实际情况调整JobManager和TaskManager的各类内存来适应同步场景。
参数名 | 参数类型 | 默认值 | 参数说明 |
|---|---|---|---|
jobmanager.memory.process.size | int | 3586MB | jobmanager的处理内存，直接影响堆内存大小。 说明： 该配置会占用总体资源，影响新增其他作业，非必要不配置。 |
taskmanager.memory.process.size | int | 3686MB | taskmanager的处理内存，直接影响堆内存大小。 说明： 该配置会占用总体资源，影响新增其他作业，非必要不配置。 |
taskmanager.memory.managed.fraction | int | 0.2 | taskmanager管理内存占比。 |
taskmanager.memory.network.max | int | 128MB | 默认不需要配置，分库分表场景下如果实例数和表数过多，建议根据实际情况增加网络内存。 |
taskmanager.memory.network.fraction | int | 0.1 | 默认不需要配置，分库分表场景下如果实例数和表数过多，建议根据实际情况增加网络内存。 |
checkpoint.interval | int | 60000 | Flink作业生成checkpoint的间隔，单位为毫秒。数据量大的作业建议调大，需要给更长时间进行数据Flush，但会增加时延。 |
checkpoint.timeout.ms | int | 600000 | Flink作业生成checkpoint的超时时间，单位为毫秒。 |
