什么是入图调度的数据起止时间和数据分片间隔?
数据起止时间是确定入图的数据范围,数据分片则是定义了系统从后台取数据的粒度。用户可以基于自己实际的业务数据情况,灵活制定入图的数据起止时间和数据分片间隔,可以达到一个最优的性能。
假设用户选择的数据起止时间为2022-08-01 00:00:00到2022-08-03 23:00:00,数据分片间隔为1天,增量字段为datatime。
如下表所示,ID为1和2的数据,它们的datatime在用户选择的数据起止时间范围内。已知数据分片间隔为1天,那么系统首先去数据库读取2022-08-01 00:00:00到2022-08-02 00:00:00的数据,然后再去读取2022-08-02 00:00:00到2022-08-03 00:00:00的数据。
ID |
Name |
Createtime |
datatime |
DelFlag |
---|---|---|---|---|
1 |
小明 |
2022-08-01 10:00:00 |
2022-08-01 10:00:00 |
false |
2 |
小明 |
2022-08-02 10:00:00 |
2022-08-02 10:00:00 |
false |
3 |
小张 |
2022-08-05 10:00:00 |
2022-08-05 10:00:00 |
false |