更新时间:2024-10-23 GMT+08:00
分享

MRS分配和授权

完成数据底座初始化授权工作(详见数据底座初始化授权章节),即MRS集群已具有OBS访问权限后,为数据提供方创建指定OBS路径的MRS数据库。

准备工作

平台运营方-运维人员使用预置FusionInsight管理员(初始admin账号)创建安全认证管理员账号,并通过委托配置,分配给该账号OBS管理员权限。

  1. 进入MRS集群实例页面,单击”前往Manager”;
  2. 使用管理员账号(初始admin账号)登录FI页面,选择导航栏中“系统”;
  3. 在左侧导航栏中选择“用户”一栏,单击“添加用户”,创建tianji_admin用户;
  4. 为该账号分配用户组“supergroup”以及MRS FusionInsight管理员权限,配置详见下图。

    图1 配置

OBS权限策略及委托配置

存算分离场景中,MRS用户建库、表在OBS指定路径时,需要有OBS对应目录权限。

为MRS管理员账号配置OBS管理员权限策略,并且绑定委托映射至管理员账号,使MRS管理员账号拥有为每个接入的开发利用方在指定OBS目录建库的权限。

  • 创建具有OBS管理员权限的IAM策略。
    1. 使用浏览器,以VDC管理员账号登录智能云管理平台。
    2. 单击主菜单的“系统”。单击“安全管理 > 角色管理 > 创建角色”。
    3. 创建OBS管理员角色。作用范围选择“全局服务”,授权平台选择“对象存储服务OBS3.0”,操作权限全选。
      图2 创建OBS管理员角色
    4. 单击“确认”保存策略。
  • 将角色绑定至委托。
    1. 创建委托,委托类型选择"普通账号",输入被委托方租户名称。(被委托方租户名称为智能云管理平台的资源租户名称,租户名称查看参见说明)。
      图3 创建委托

      VDC管理员登录智能云管理平台,单击右上角登录用户名>个人设置,查看所属租户名称。

    2. 拥有权限选择"自定义角色",勾选创建的"自定义角色"。
      图4 自定义角色"
  • 将OBS管理员权限的委托,映射至准备工作中创建的MRS "tianji_admin”用户。
    1. 单击现有集群下MRS集群名称 > 概览 >运维管理 >OBS权限控制 > 单击管理。
      图5 概览
    2. 单击“添加映射”,配置IAM委托和用户组直接映射关系。类型选择“User”,MRS用户(组)选择准备工作中创建的MRS用户账号tianji_admin。
      图6 添加映射

创建OBS桶目录

平台运营方-运维人员创建平台运营方OBS目录,负责管理和隔离各数据提供方(各委办局)数据接入库。

在OBS并行文件系统,创建OBS桶目录。

  1. 使用账号登录智能云管理平台,选择“存储 > 对象存储服务 3.0”,进入对象存储服务界面。
  2. 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。
  3. 单击界面右上角的“创建并行文件系统”,进入创建页面。
  4. 根据平台运营方OBS目录架构(如下图所示),设置并行文件系统的区域和名称,配置策略为“私有”。

    图7 平台运营方OBS目录架构

  5. 单击“新建文件夹”,为新增数据提供方,创建三级目录。

    图8 新建文件夹
    • 并行文件系统创建成功后,不能修改名称,请提前规划合适的名称。
    • 由于通过URL访问并行文件系统时,名称会作为URL的一部分,根据DNS标准,URL不支持大写字母,无法区分带大写字母的并行文件系统。因此,名称仅支持小写字母、数字、“-”、“.”。例如:若想通过URL访问名为“MyFileSystem”的文件系统,该URL将解析成名为“myfilesystem”的文件系统,导致访问出错。

创建Hive数据库

平台运营方-运维人员使用Hive 组件对接 OBS 文件系统,并建库、建表时指定 Location 为 OBS 路径。

用户可在DataArts Studio-数据开发功能模块,进行建库,建表操作;也可通过Hive客户端进行建库、建表操作。

  • 使用DataArts Srudio创建数据库

    通过DataArts Studio-数据开发模块,为数据提供方创建Hive数据库。

    1. 平台运营方-运维人员进入DataArts Studio-公共工作空间,单击“管理中心>创建数据连接”,使用tianji_admin用户名和密码创建数据连接。
      图9 创建Hive数据库1
    2. 进入“数据开发”功能模块,单击”新建脚本>新建HiveSQL脚本”。

      在OBS并行文件系统:“OBS桶/运营平台开发/平台运营方/大数据中心贴源层“目录下,创建开发贴源库,用于数据提供方A数据接入。

      建库语句示例:

      CREATE DATABASE dev_shnw_dwd LOCATION "obs://mrs-obs/obs_dev_tianji_mrs/p_op_dev_shdg/shnw_ods_dev"
      图10 创建Hive数据库2

      重复步骤2中建库语句的执行,为数据提供方A创建生产贴源库。

  • (可选)使用MRS-Hive客户端创建数据库
    1. 使用安装客户端用户登录客户端安装节点,客户端下载和安装指导请参考https://support.huaweicloud.com/usermanual-mrs/mrs_01_0089.html
    2. 执行如下命令初始化环境变量。source /客户端安装目录/bigdata_env
    3. 安全集群,执行以下命令进行用户认证(该用户需要具有Hive操作的权限)kinit Hive组件操作用户。

      如kinit tianji_admin,输入安全账户用户密码。

    4. beeline进入hive客户端,进行建库、建表操作。

      在OBS并行文件系统:“OBS桶/运营平台开发/平台运营方/大数据中心贴源层“目录下,创建开发贴源库,用于数据提供方A数据接入。

      建库语句示例:

      create  database dev_shnw_dwd LOCATION "obs://mrs-obs/obs_dev_tianji_mrs/ 
      p_op_dev_shdg/shnw_ods_dev"

      重复步骤4中建库语句的执行,为数据提供方A创建生产贴源库。

相关文档