更新时间:2023-03-17 GMT+08:00

Pipeline

配置场景

为适应某些场景对降低时延的需求,设计多个Job间采用Netty直接相连的方式传递数据,即分别使用NettySink用于Server端、NettySource用于Client端进行数据传输。

本章节适用于MRS 3.x及之后版本。

配置描述

配置项包括NettySink的信息存放路径、NettySink的端口监听范围、连接是否通过SSL加密以及NettySink监听所使用的网络所在域等。

表1 参数说明

参数

描述

默认值

是否必选配置

nettyconnector.registerserver.topic.storage

设置NettySink的IP、端口及并发度信息在第三方注册服务器上的路径。建议用户使用ZooKeeper进行存储。

/flink/nettyconnector

否,当使用pipeline特性为必选

nettyconnector.sinkserver.port.range

设置NettySink的端口范围。

MRS集群下默认设置为28444-28843

否,当使用pipeline特性为必选

nettyconnector.ssl.enabled

设置NettySink与NettySource之间通信是否配置SSL加密。其中加密密钥以及加密协议等请参见SSL

false

否,当使用pipeline特性为必选

nettyconnector.message.delimiter

用来配置nettysink发送给nettysource消息的分隔符,长度为2-4个字节,不可包含“\n”, “ ”, “#” 。

默认使用“$_”。

否,当使用pipeline特性为必选