边缘采集节点部署
Linux环境部署
下载edi-edgenodeagent-linux.zip文件,放在Linux服务器某个文件夹中,解压压缩,注意解压文件后可能没有权限需要重新执行chmod命令赋予权限,文件中包含jdk,jar包,flume、canal、run.sh。
修改run.sh文件中的端口(默认8686)、内存大小,然后执行run.sh启动,注意端口不要被占用,如果需要程序在后台运行,则在run.sh最后一行前后加nohup和&,如图。
自研环境的操作系统中,根据不同的CPU使用不同架构的jdk,例如:银河麒麟环境,需要使用open jdk,而边缘采集节点程序自带的jdk为Oracle jdk。操作方式:使用对应的jdk替换程序原有的jdk,注意文件名需与原有的文件名一致。
Windows环境部署
下载edi-edgenodeagent-win.zip文件,放在windows服务器某个文件夹中,解压压缩,注意解压文件后可能没有权限需要重新执行chmod命令赋予权限,文件中包含jdk,jar包,flume、canal、run.bat。
修改run.bat文件中的端口(默认8686)、内存大小,然后执行run.bat启动,注意端口不要被占用,如图。
canal注意事项
目前canal需要手动执行canal\bin目录下startup.bat/startup来启动,并且修改压缩包下canal\conf\canal.properties配置canal.ip属性,否则无法获取canal地址,canal.ip为边缘采集节点服务器ip。
参数介绍
参数 |
说明 |
---|---|
server.port |
服务器端口,默认为8686 |
JAVA_OPTS=-Xmx5120M |
JVM内存配置,推荐5G |
esen.edi.edgenode.workdir |
工作目录,默认为与jar包同级的workdir,日志文件存在工作目录中 |
依赖jar包
使用不同的Flume组件需要额外添加相关的Jar包,详情见第二章依赖驱动清单。
如果系统已经安装Hadoop并配置了“HADOOP_HOME”环境变量就不需要再添加这些jar包。
可以直接将压缩包中的jar放到flume/lib目录下。建议用flume官方文档中拓展第三方插件的方式,在flume 安装目录下创建\plugins.d目录,jar包放到libext目录下,例如: