Pipeline
配置场景
为适应某些场景对降低时延的需求,设计多个Job间采用Netty直接相连的方式传递数据,即分别使用NettySink用于Server端、NettySource用于Client端进行数据传输。
本章节适用于MRS 3.x及之后版本。
配置描述
配置项包括NettySink的信息存放路径、NettySink的端口监听范围、连接是否通过SSL加密以及NettySink监听所使用的网络所在域等。
参数 |
描述 |
默认值 |
是否必选配置 |
---|---|---|---|
nettyconnector.registerserver.topic.storage |
设置NettySink的IP、端口及并发度信息在第三方注册服务器上的路径。建议用户使用ZooKeeper进行存储。 |
/flink/nettyconnector |
否,当使用pipeline特性为必选 |
nettyconnector.sinkserver.port.range |
设置NettySink的端口范围。 |
MRS集群下默认设置为28444-28843 |
否,当使用pipeline特性为必选 |
nettyconnector.ssl.enabled |
设置NettySink与NettySource之间通信是否配置SSL加密。其中加密密钥以及加密协议等请参见SSL。 |
false |
否,当使用pipeline特性为必选 |
nettyconnector.message.delimiter |
用来配置nettysink发送给nettysource消息的分隔符,长度为2-4个字节,不可包含“\n”, “ ”, “#” 。 |
默认使用“$_”。 |
否,当使用pipeline特性为必选 |