MRS分配和授权
完成数据底座初始化授权工作(详见数据底座初始化授权章节),即MRS集群已具有OBS访问权限后,为数据提供方创建指定OBS路径的MRS数据库。
准备工作
平台运营方-运维人员使用预置FusionInsight管理员(初始admin账号)创建安全认证管理员账号,并通过委托配置,分配给该账号OBS管理员权限。
- 进入MRS集群实例页面,单击”前往Manager”;
- 使用管理员账号(初始admin账号)登录FI页面,选择导航栏中“系统”;
- 在左侧导航栏中选择“用户”一栏,单击“添加用户”,创建tianji_admin用户;
- 为该账号分配用户组“supergroup”以及MRS FusionInsight管理员权限,配置详见下图。
图1 配置
OBS权限策略及委托配置
存算分离场景中,MRS用户建库、表在OBS指定路径时,需要有OBS对应目录权限。
为MRS管理员账号配置OBS管理员权限策略,并且绑定委托映射至管理员账号,使MRS管理员账号拥有为每个接入的开发利用方在指定OBS目录建库的权限。
- 创建具有OBS管理员权限的IAM策略。
- 使用浏览器,以VDC管理员账号登录智能云管理平台。
- 单击主菜单的“系统”。单击“安全管理 > 角色管理 > 创建角色”。
- 创建OBS管理员角色。作用范围选择“全局服务”,授权平台选择“对象存储服务OBS3.0”,操作权限全选。
图2 创建OBS管理员角色
- 单击“确认”保存策略。
- 将角色绑定至委托。
- 创建委托,委托类型选择"普通账号",输入被委托方租户名称。(被委托方租户名称为智能云管理平台的资源租户名称,租户名称查看参见说明)。
图3 创建委托
VDC管理员登录智能云管理平台,单击右上角登录用户名>个人设置,查看所属租户名称。
- 拥有权限选择"自定义角色",勾选创建的"自定义角色"。
图4 自定义角色"
- 创建委托,委托类型选择"普通账号",输入被委托方租户名称。(被委托方租户名称为智能云管理平台的资源租户名称,租户名称查看参见说明)。
- 将OBS管理员权限的委托,映射至准备工作中创建的MRS "tianji_admin”用户。
- 单击现有集群下MRS集群名称 > 概览 >运维管理 >OBS权限控制 > 单击管理。
图5 概览
- 单击“添加映射”,配置IAM委托和用户组直接映射关系。类型选择“User”,MRS用户(组)选择准备工作中创建的MRS用户账号tianji_admin。
图6 添加映射
- 单击现有集群下MRS集群名称 > 概览 >运维管理 >OBS权限控制 > 单击管理。
创建OBS桶目录
平台运营方-运维人员创建平台运营方OBS目录,负责管理和隔离各数据提供方(各委办局)数据接入库。
在OBS并行文件系统,创建OBS桶目录。
- 使用账号登录智能云管理平台,选择“存储 > 对象存储服务 3.0”,进入对象存储服务界面。
- 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。
- 单击界面右上角的“创建并行文件系统”,进入创建页面。
- 根据平台运营方OBS目录架构(如下图所示),设置并行文件系统的区域和名称,配置策略为“私有”。
图7 平台运营方OBS目录架构
- 单击“新建文件夹”,为新增数据提供方,创建三级目录。
图8 新建文件夹
- 并行文件系统创建成功后,不能修改名称,请提前规划合适的名称。
- 由于通过URL访问并行文件系统时,名称会作为URL的一部分,根据DNS标准,URL不支持大写字母,无法区分带大写字母的并行文件系统。因此,名称仅支持小写字母、数字、“-”、“.”。例如:若想通过URL访问名为“MyFileSystem”的文件系统,该URL将解析成名为“myfilesystem”的文件系统,导致访问出错。
创建Hive数据库
平台运营方-运维人员使用Hive 组件对接 OBS 文件系统,并建库、建表时指定 Location 为 OBS 路径。
用户可在DataArts Studio-数据开发功能模块,进行建库,建表操作;也可通过Hive客户端进行建库、建表操作。
- 使用DataArts Srudio创建数据库
通过DataArts Studio-数据开发模块,为数据提供方创建Hive数据库。
- 平台运营方-运维人员进入DataArts Studio-公共工作空间,单击“管理中心>创建数据连接”,使用tianji_admin用户名和密码创建数据连接。
图9 创建Hive数据库1
- 进入“数据开发”功能模块,单击”新建脚本>新建HiveSQL脚本”。
在OBS并行文件系统:“OBS桶/运营平台开发/平台运营方/大数据中心贴源层“目录下,创建开发贴源库,用于数据提供方A数据接入。
建库语句示例:
CREATE DATABASE dev_shnw_dwd LOCATION "obs://mrs-obs/obs_dev_tianji_mrs/p_op_dev_shdg/shnw_ods_dev"
图10 创建Hive数据库2
重复步骤2中建库语句的执行,为数据提供方A创建生产贴源库。
- 平台运营方-运维人员进入DataArts Studio-公共工作空间,单击“管理中心>创建数据连接”,使用tianji_admin用户名和密码创建数据连接。
- (可选)使用MRS-Hive客户端创建数据库
- 使用安装客户端用户登录客户端安装节点,客户端下载和安装指导请参考https://support.huaweicloud.com/usermanual-mrs/mrs_01_0089.html
- 执行如下命令初始化环境变量。source /客户端安装目录/bigdata_env
- 安全集群,执行以下命令进行用户认证(该用户需要具有Hive操作的权限)kinit Hive组件操作用户。
- beeline进入hive客户端,进行建库、建表操作。
在OBS并行文件系统:“OBS桶/运营平台开发/平台运营方/大数据中心贴源层“目录下,创建开发贴源库,用于数据提供方A数据接入。
建库语句示例:
create database dev_shnw_dwd LOCATION "obs://mrs-obs/obs_dev_tianji_mrs/ p_op_dev_shdg/shnw_ods_dev"
重复步骤4中建库语句的执行,为数据提供方A创建生产贴源库。