数据底座初始化授权
MRS ECS/BMS集群支持将业务数据存储在OBS 3.0服务的并行文件系统中,使用MRS集群计算资源进行数据处理的存算分离模式,从而提供按需灵活扩展、低成本的海量数据分析方案。
在初始化数据底座资源配置时,完成创建OBS全局委托并绑定至MRS集群、修改Ranger默认权限的一次性动作。
创建OBS委托并绑定MRS集群
- 创建OBS全局委托。
创建OBS委托,并绑定至MRS集群,使集群内用户具备对OBS的访问权限。为MRS集群绑定一个OBS权限委托策略,以允许集群内的服务访问OBS文件系统。委托默认将对该MRS集群上所有的用户(包括内置用户)及用户组生效,一个MRS集群只可以绑定一个全局委托。
- 为MRS集群绑定全局委托。
- 使用平台运营方运维人员账号登录智能云管理平台运营面,在页面左上角服务列表中选择“EI 企业智能 > MapReduce 服务”。
- 在导航栏选择“集群列表 > 现有集群”。单击集群名称,进入集群详情页面。
- 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
图5 IAM用户同步
- 用户同步完成后,在“概览”页签单击“管理委托”。在委托列表中选择需要绑定至当前集群的委托,然后单击“确定”。
图6 管理委托
- 委托变更后不能立即生效,生效时长15分钟左右。
- 变更MRS集群的委托权限时,建议通过新建权限策略和委托,再修改集群对应委托的方式来实现;直接修改旧的权限策略和委托可能会影响其他用户的正常权限控制。
配置OBS组件回收清理策略
组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中,本章节用于指导用户设置OBS文件系统内回收站目录的生命周期策略,以定时自动清理相关数据。
- 配置集群使用存算分离方案后,必须参考本章节内容配置相关目录的生命周期策略,否则会有存储空间被占满的风险。
- 由于回收站目录是以用户维度进行创建,当MRS集群内新创建了用户且该用户具备组件数据的删除权限时,也需要参考本章节配置新用户的回收站目录清理策略。
MRS集群内各组件默认需至少配置的回收站目录如表4-5所示。
例如集群新增的用户具有以下权限时,也需在并行文件系统中创建对应用户回收站目录清理策略。
- 具有HDFS文件删除权限的用户。
- 具有Hive表DROP、INSERT OVERWRITE、TRUNCATE操作的用户。
- 具有HetuEngine DROP、TRUNCATE、DELETE、INSERT OVERWRITE、LOADOVERWRITE操作权限的用户。
表1 存算分离场景组件默认回收站目录 组件
回收站目录
Hive
● user/omm/.Trash
● user/hive/.Trash
Spark2x
● user/omm/.Trash
● user/root/.Trash
● user/spark2x/.Trash
HetuEngine
● user/omm/.Trash
● user/hetuserver/.Trash
- 配置用户回收站目录
除了MRS集群预置用户所涉及的回收站目录外(例如“user/omm/.Trash”),对于其他新增的有防误删需求的用户,同样需要为其配置回收站目录:user/<用户名>/.Trash。
- 配置当前用户所对应的OBS委托策略,至少包含了以下目录的操作权限,若未配置可参考#ZH-CN_TOPIC_0000001705437473/section165618252032创建OBS委托并绑定至MRS集群进行操作。
– user/hive/.Trash
– user/<新增的业务用户>/.Trash
- 以VDC管理员或VDC业务员账号登录智能云管理平台运营面-服务列表-存储-对象存储服务 3.0,选择“并行文件系统>文件系统名称>user”。
- 对应的“.Trash”文件夹若不存在需使用omm用户通过集群客户端手动创建。
- 配置当前用户所对应的OBS委托策略,至少包含了以下目录的操作权限,若未配置可参考#ZH-CN_TOPIC_0000001705437473/section165618252032创建OBS委托并绑定至MRS集群进行操作。
- 配置 OBS 目录生命周期规则
- 手动创建MRS集群预置用户所涉及的回收站目录(如“user/omm/.Trash”,具体操作参考配置用户回收站目录中步骤),以及新增有防误删需求的用户回收站目录“user/<用户名>/.Trash”。
- 单击当前MRS集群使用的文件系统名称-生命周期规则-创建-填写参数-确定:
表2 生命周期规则创建填写参数 参数名称
描述
示例
状态
是否启用本条生命周期规则。
启用
规则名称
规则名称,可自定义,用于识别不同的生命周期配置。
rule-mrs-trash
策略
策略配置范围。
- 按前缀配置:满足指定前缀的对象将受生命周期规则管理,输入的对象前缀不能包括\:*?"<>|特殊字符,不能以/开头,不能两个/相邻。
- 配置到整个文件系统:文件系统内所有对象都将受生命周期规则管理。
说明:为防止其他业务数据被误删除,不建议使用配置到整个文件系统或者层级较高的目录的生命周期规则。
按前缀配置
前缀
生命周期规则适用的对象前缀,MRS集群组件数据回收站目录通常为如下路径,该文件夹若不存在,需提前手动创建:
user/<用户名>/.Trash
user/omm/.Trash
过期删除/天数
策略配置范围内的对象最后一次更新后时间达到指定的天数后,对象将过期并自动被OBS删除。
30天
Ranger权限配置
- 修改ranger默认权限:任何用户均可创建库到HDFS
ranger默认策略中,所有用户均可以在HDFS创建默认库。修改该默认权限。
- 平台运维方-运维人员获取具有MRS admin权限的安全认证账号(非初始admin账号),详见4.1.2.3.1 准备工作;
- 进入MRS集群实例页面,单击”前往Manager”,使用步骤1获取的账号登录MRS FI页面;
图7 前往Manager
- 在主页中选择ranger集群,或单击"集群>ranger",进入ranger集群详情页。
图8 集群>ranger
- 单击进入Ranger WebUI“RangerAdmin”页面。
图9 RangerAdmin
- 单击hive模块,修改hive默认策略。
- 单击权限策略中"all database"的默认权限,去掉"public"用户组的"create"权限。修改后权限配置可参考下图。
图10 修改后权限配置
- 修改ranger默认default库建表权限
ranger默认策略中,所有用户均可以在default库中创建数据表,修改该默认权限。
- 在ranger中,单击hive模块,修改hive默认策略。
- 单击名称为:default database tables columns后的修改按钮,修改hive默认default库的权限策略。
图11 修改hive默认default库的权限策略
- 在Allow Conditions允许条件中,删除public用户组create建库权限;删除superuser用户组下hive user ALL权限。
图12 删除superuser用户组下hive user ALL权限
图13 修改后的策略如图
配置完成后,仅supergroup下{OWNER}用户具有在default库建表权限。
- (可选)修改可见表信息权限
ranger默认hive策略中,库表信息对所有用户可见,修改该默认权限。
- 在ranger中,单击hive模块,修改hive默认策略。
- 单击名称为:Information_schema database tables columns后的修改按钮,修改hive默认库表信息的权限策略。
图14 修改hive默认库表信息的权限策略
- 在Allow Conditions允许条件中,将public用户组改为supergroup。
图15 修改后的策略如图