更新时间:2024-09-04 GMT+08:00
准备MRS节点引导操作脚本
引导操作目前仅支持Linux Shell脚本,脚本文件需以.sh结尾。
准备MRS节点引导操作脚本步骤如下:
- 上传所需安装包等文件至OBS文件系统。
正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。
因为不同Region间有网络隔离,MRS虚拟机无法下载其他Region上的OBS文件。
- 脚本中如何从OBS文件系统下载文件。
您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载。
例如,执行以下命令将“obs://yourbucket/myfile.tar.gz”文件下载到本地,并解压到“/your-dir”目录下:
source /opt/Bigdata/client/bigdata_env;hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile.tar.gz ./
mkdir -p /<your-dir>
tar -zxvf myfile.tar.gz -C /<your-dir>
- 其中“/opt/Bigdata/client”为客户端路径,具体以实际为准。
- Hadoop客户端已预安装在MRS节点上,hadoop fs命令可对OBS做下载、上传等操作。
- 各Region下obs-endpoint请参见终端节点及区域说明。
- 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。
- 上传脚本至OBS文件系统.
脚本完成后上传到同region的OBS文件系统中。在您选定的时机,集群各节点会从OBS将脚本下载下来并以root用户执行。
父主题: 配置MRS集群节点引导操作