更新时间:2024-11-29 GMT+08:00

准备引导操作脚本

引导操作目前仅支持linux shell脚本,脚本文件需以.sh结尾。

上传所需安装包等文件至OBS文件系统

正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同region的OBS文件系统中。因为不同region间有网络隔离,MRS虚拟机无法下载其他region上的OBS文件。

脚本中如何从OBS文件系统下载文件

您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载,下面的例子会将 obs://yourbucket/myfile.tar.gz 这个文件下载到本地,并解压到 /your-dir 目录下:

#!/bin/bash
source /opt/Bigdata/client/bigdata_env;hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile.tar.gz ./
mkdir -p /<your-dir>
tar -zxvf myfile.tar.gz -C /<your-dir>
  • 客户端默认安装路径为“/opt/Bigdata/client”,具体以实际为准。
  • Hadoop客户端已预安装在MRS节点上,hadoop fs命令可对OBS做下载、上传等操作。
  • 各region下obs-endpoint请向管理员获取。
  • 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。

上传脚本至OBS文件系统

脚本完成后上传到同region的OBS文件系统中。在您选定的时机,集群各节点会从OBS将脚本下载下来并以root用户执行。