FlinkSQL Elasticsearch表开发建议
FlinkSQL Elasticsearch作业,参数配置如下:
参数 |
是否必选 |
数据类型 |
描述 |
---|---|---|---|
connector |
必选 |
String |
指定要使用的连接器,如elasticsearch-7,即连接到Elasticsearch 7.x或更高版本的集群。 |
hosts |
必选 |
String |
要连接的一台或多台Elasticsearch主机地址。 例如:'http://10.10.10.10:24100;http://10.10.10.10:24100' |
index |
必选 |
String |
Elasticsearch中每条记录的索引。可以是一个静态索引(如 'myIndex' )或一个动态索引(如 'index-{log_ts|yyyy-MM-dd}' )。 |
document-id.key-delimiter |
可选 |
String |
复合键的分隔符,默认为“_”。若指定为“$”,则文档ID为“KEY1$KEY2$KEY3”。 |
username |
可选 |
String |
用于连接Elasticsearch实例的用户名。 |
password |
可选 |
String |
用于连接Elasticsearch实例的用户名密码。若配置了username,则必须配置为非空字符串。 |
failure-handler |
可选 |
String |
对Elasticsearch请求失败情况的失败处理策略,有效策略如下:
|
sink.flush-on-checkpoint |
可选 |
Boolean |
|
sink.bulk-flush.max-actions |
可选 |
Integer |
每个批量请求的最大缓冲操作数,默认值为“1000”,可设置为“0”禁用该功能。 |
sink.bulk-flush.max-size |
可选 |
MemorySize |
每个批量请求的缓冲操作在内存中的最大值,默认值为“2MB”,单位必须为MB,可设置为“0”禁用该功能。 |
sink.bulk-flush.interval |
可选 |
Duration |
缓冲操作的间隔时间,默认值为“1s”,可设置为“0”禁用该功能。 |
sink.bulk-flush.backoff.strategy |
可选 |
String |
指定在由于临时请求错误导致任何flush操作失败时如何执行重试。有效策略为:
|
sink.bulk-flush.backoff.max-retries |
可选 |
Integer |
最大回退重试次数。 |
sink.bulk-flush.backoff.delay |
可选 |
Duration |
每次退避重试之间的延迟,退避策略如下:
|
connection.path-prefix |
可选 |
String |
添加到每个REST通信中的前缀字符串,例如: '/v1' 。 |
format |
可选 |
String |
Elasticsearch连接器支持的指定格式,默认值为“json”。 |