SQLServer到Doris参数调优
源端优化
SQLServer抽取优化。
可通过在作业任务配置参数单击中“添加自定义属性”来新增SQLServer同步参数。
可使用的调优参数具体如下：
| 参数名 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| scan.incremental.snapshot.backfill.skip | boolean | true | 全量阶段是否跳过读取Binlog数据，默认为true。跳过读取Binlog数据可以有效降低内存使用。需要注意的是，跳过读取Binlog功能只提供at-least-once保证。 |
| 参数名 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| debezium.max.iteration.transactions | int | 1000 | 每张表在重演数据时每次抽取的数据条数，值较大时，会使得内存升高并阻塞增量同步任务。 |
目的端优化
可通过在Doris的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。
| 参数名 | 类型 | 默认值 | 单位 | 说明 |
|---|---|---|---|---|
| sink.properties.format | string | json | - | Stream Load 使用的数据格式，可选择json/csv，使用csv写入格式并配套压缩参数，可提升写入速率，不建议在如下doris版本使用csv写入，如 1.2， 2.0.x（x＜14），2.1.x（x<6）, 3.0.x（x<1），存在开源问题可能会导致用csv写特殊字符异常。 |
| sink.properties.Content-Encoding | string | - | - | HTTP头部消息体压缩格式，目前只支持 CSV 文件的压缩，支持gzip。 |
| sink.properties.compress_type | string | - | - | 文件的压缩格式，目前只支持 CSV 文件的压缩。支持 gz, lzo, bz2, lz4, lzop, deflate 压缩格式。 |
| doris.sink.flush.tasks | int | 1 | - | 单个taskmanager的flush并发数，在资源充足情况下可以适当提高该值提升写入速率。 |
| sink.batch.interval | string | 1s | h/min/s | 异步线程写入数据的时间间隔，在源端数据量较大时可增加该值，如30s，减少与数据库的I/O。 |
| sink.batch.size | int | 20000 | - | 单次写（插入、更新、删除）数据的最大行数，在源端数据量较大时可增加该值，如50000，减少与数据库的I/O。 |
| sink.batch.bytes | int | 10485760 | bytes | 单次写（插入、更新、删除）数据的最大字节数，在源端数据量较大时可增加该值，如50485760，减少与数据库的I/O。 |
