更新时间:2024-04-18 GMT+08:00
分享

边缘采集节点部署

Linux环境部署

下载edi-edgenodeagent-linux.zip文件,放在Linux服务器某个文件夹中,解压压缩,注意解压文件后可能没有权限需要重新执行chmod命令赋予权限,文件中包含jdk,jar包,flume、canal、run.sh。

修改run.sh文件中的端口(默认8686)、内存大小,然后执行run.sh启动,注意端口不要被占用,如果需要程序在后台运行,则在run.sh最后一行前后加nohup和&,如图。

图1 Linux环境部署

自研环境的操作系统中,根据不同的CPU使用不同架构的jdk,例如:银河麒麟环境,需要使用open jdk,而边缘采集节点程序自带的jdk为Oracle jdk。操作方式:使用对应的jdk替换程序原有的jdk,注意文件名需与原有的文件名一致。

Windows环境部署

下载edi-edgenodeagent-win.zip文件,放在windows服务器某个文件夹中,解压压缩,注意解压文件后可能没有权限需要重新执行chmod命令赋予权限,文件中包含jdk,jar包,flume、canal、run.bat。

修改run.bat文件中的端口(默认8686)、内存大小,然后执行run.bat启动,注意端口不要被占用,如图。

图2 Windows环境部署

canal注意事项

目前canal需要手动执行canal\bin目录下startup.bat/startup来启动,并且修改压缩包下canal\conf\canal.properties配置canal.ip属性,否则无法获取canal地址,canal.ip为边缘采集节点服务器ip。

图3 canal注意事项

参数介绍

表1 参数介绍

参数

说明

server.port

服务器端口,默认为8686

JAVA_OPTS=-Xmx5120M

JVM内存配置,推荐5G

esen.edi.edgenode.workdir

工作目录,默认为与jar包同级的workdir,日志文件存在工作目录中

依赖jar包

使用不同的Flume组件需要额外添加相关的Jar包,详情见第二章依赖驱动清单。

如果系统已经安装Hadoop并配置了“HADOOP_HOME”环境变量就不需要再添加这些jar包。

可以直接将压缩包中的jar放到flume/lib目录下。建议用flume官方文档中拓展第三方插件的方式,在flume 安装目录下创建\plugins.d目录,jar包放到libext目录下,例如:

图4 依赖jar包

相关文档