更新时间:2024-09-04 GMT+08:00

准备MRS节点引导操作脚本

引导操作目前仅支持Linux Shell脚本,脚本文件需以.sh结尾。

准备MRS节点引导操作脚本步骤如下:

  1. 上传所需安装包等文件至OBS文件系统。

    正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。

    因为不同Region间有网络隔离,MRS虚拟机无法下载其他Region上的OBS文件。

  2. 脚本中如何从OBS文件系统下载文件。

    您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载。

    例如,执行以下命令将“obs://yourbucket/myfile.tar.gz”文件下载到本地,并解压到“/your-dir”目录下:

    source /opt/Bigdata/client/bigdata_env;hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile.tar.gz ./

    mkdir -p /<your-dir>

    tar -zxvf myfile.tar.gz -C /<your-dir>

    • 其中“/opt/Bigdata/client”为客户端路径,具体以实际为准。
    • Hadoop客户端已预安装在MRS节点上,hadoop fs命令可对OBS做下载、上传等操作。
    • 各Region下obs-endpoint请参见终端节点及区域说明
    • 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。

  3. 上传脚本至OBS文件系统.

    脚本完成后上传到同region的OBS文件系统中。在您选定的时机,集群各节点会从OBS将脚本下载下来并以root用户执行。