更新时间:2022-08-12 GMT+08:00

自定义引导操作

特性简介

MRS提供标准的云上弹性大数据集群,目前可安装部署包括hadoop、spark等9种大数据组件。当前标准的云上大数据集群不能满足所有用户需求,例如如下几种场景:

  • 通用的操作系统配置不能满足实际数据处理需求,例如需调大系统最大连接数。
  • 需要安装自身业务所需的软件工具或运行环境,例如须安装gradle、业务需要依赖R语言包。
  • 根据自身业务对大数据组件包做修改,例如对hadoop或spark安装包做修改。
  • 需要安装其他MRS还未支持的大数据组件。

对于上述定制化的场景,可以选择登录到每个节点上手动操作,之后每扩容一个新节点,再执行一次同样的操作,操作相对繁琐,也容易出错。同时手动执行记录不便追溯,不能实现“按需创建、创建成功后即处理数据”的目标。

因此,MRS提供了自定义引导操作,在启动集群组件前(或后)可以在指定的节点上执行脚本。用户可以通过引导操作来完成安装MRS还没支持的第三方软件,修改集群运行环境等自定义操作。如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行您指定的脚本,脚本内部您可以通过su - xxx命令切换用户。

客户价值

MRS提供了自定义引导操作,用户可以以此为入口,灵活、便捷地配置自己的专属集群,自定义安装软件。