更新时间:2024-11-29 GMT+08:00
准备引导操作脚本
引导操作目前仅支持linux shell脚本,脚本文件需以.sh结尾。
上传所需安装包等文件至OBS文件系统
正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同region的OBS文件系统中。因为不同region间有网络隔离,MRS虚拟机无法下载其他region上的OBS文件。
脚本中如何从OBS文件系统下载文件
您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载,下面的例子会将 obs://yourbucket/myfile.tar.gz 这个文件下载到本地,并解压到 /your-dir 目录下:
#!/bin/bash source /opt/Bigdata/client/bigdata_env;hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile.tar.gz ./ mkdir -p /<your-dir> tar -zxvf myfile.tar.gz -C /<your-dir>
- 客户端默认安装路径为“/opt/Bigdata/client”,具体以实际为准。
- Hadoop客户端已预安装在MRS节点上,hadoop fs命令可对OBS做下载、上传等操作。
- 各region下obs-endpoint请向管理员获取。
- 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。
上传脚本至OBS文件系统
脚本完成后上传到同region的OBS文件系统中。在您选定的时机,集群各节点会从OBS将脚本下载下来并以root用户执行。
父主题: 引导操作