创建企业模式工作空间
若您当前使用简单模式工作空间,但希望使用开发与生产环境隔离机制,您可以将简单模式工作空间升级为企业模式工作空间,如果您之前未使用过简单模式、无需继承业务数据,则可以直接新建新企业模式工作空间,本文为您介绍如何创建工作空间模式。
使用限制
只有DAYU Administrator、Tenant Administrator可升级企业模式或创建企业模式。
前提条件
创建工作空间模式前,您需要先了解以下内容:
- 已了解简单模式与企业模式工作空间的区别,包括不同工作空间的开发流程等差异,详情请参见简单模式与企业模式介绍。
- 已配置空间级的身份调度,包含公共委托和公共IAM账号,详情请参见配置公共委托和配置公共IAM账号。
- 已准备好两套相互隔离的数据湖引擎,用于隔离开发和生产环境。
- 配置两套数据湖服务,进行开发与生产环境隔离。
对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts Studio数据连接。
创建数据连接时,通过不同的集群来进行开发与生产环境的隔离,如图1所示。
- 配置DLI环境隔离。
对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。
- 配置DB,在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离。
对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,如图2所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图3所示。详细操作请参见DB配置。
- 配置两套数据湖服务,进行开发与生产环境隔离。
- 数据准备与同步
- 数据湖服务创建完成后,您需要按照项目规划(例如数据开发需要操作的库表等),分别在开发和生产环境的数据湖服务中,新建数据库、数据库模式(仅DWS需要)、数据表等。
- 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),使用两套集群资源,两套环境中的数据库、数据库模式(仅DWS需要)和数据表必须保持同名。
- 对于Serverless服务(例如DLI),两套队列和两套数据库建议通过名称和后缀(开发环境添加后缀“_dev”,生产环境无后缀)进行关联与区分,数据表必须保持同名。
- 对于DWS、MRS Hive和MRS Spark数据源,如果使用一套相同的集群资源,通过两个数据库(开发环境添加后缀“_dev”,生产环境无后缀)进行开发生产环境隔离,两套环境中数据库模式(仅DWS需要)和数据表必须保持同名。
- 数据库、数据库模式(仅DWS需要)、数据表等新建完成后,如果涉及原始数据表等,您还需要将两套数据湖服务之间的数据进行同步:
- 数据湖中已有数据:通过CDM或DRS等数据迁移服务,在数据湖间批量同步数据。
- 数据源待迁移数据:通过对等的CDM或DRS等数据迁移服务作业进行同步,保证生产环境和开发环境的数据湖服务数据一致。
- 数据湖服务创建完成后,您需要按照项目规划(例如数据开发需要操作的库表等),分别在开发和生产环境的数据湖服务中,新建数据库、数据库模式(仅DWS需要)、数据表等。
变更内容
工作空间模式升级后会在原简单模式工作空间对应的生产环境基础上,增加了与生产环境隔离的开发环境。
简单模式升级企业模式
对于简单模式的工作空间,DAYU Administrator、Tenant Administrator可以直接将其升级为企业模式。
- 升级前操作
如果您需要升级工作空间模式,需要在数据开发中配置空间级别的公共委托或公共IAM账号,避免升级失败。
配置委托的操作详情可参见配置调度身份。
图4 配置工作空间委托
- 升级操作
- 登录DataArts Studio控制台。
- 找到所需要的DataArts Studio实例,在DataArts Studio实例上单击“进入控制台”。然后,选择“空间管理”页签。
- 在“空间管理”页面,找到需要升级模式的工作空间,单击其所在行的“编辑”,此时显示“空间信息”页面。
- 在“空间信息”页面,单击“空间模式”后的“升级”按钮,弹出确认界面后,单击“确认升级”您就可以将该工作空间升级为企业模式。
图5 升级企业模式
- 升级后操作
升级后需要管理员手工修改数据连接、配置环境隔离,并按照组织分工在工作空间处定义管理员、开发者、部署者、运维者等角色。
- 修改数据连接:请参考创建DataArts Studio数据连接。
- 配置环境隔离:请参考配置DataArts Studio企业模式环境隔离。
- 为其他用户定义工作空间角色:请参见添加工作空间成员和角色章节添加工作空间成员和角色。
新建企业模式工作空间
如果您之前未使用过简单模式、无需继承业务数据,则可以直接新建新企业模式工作空间。
- 创建工作空间
- 使用具有 Administrator、Tenant Administrator权限的账号进入DataArts Studio控制台。
- 单击控制台的“空间管理”页签,进入工作空间页面。
- 单击“新建”,在空间信息页面请根据页面提示配置参数,参数说明如表1所示,配置完成后,单击“确定”完成工作空间的创建。
图6 空间信息
表1 新建空间参数说明 参数名
说明
空间名称
空间名称,只能包含字母、数字、下划线、中划线、中文字符,且长度不超过32个字符。在当前的DataArts Studio实例中,工作空间名称必须唯一。
空间描述
空间的描述信息。
空间模式
选择工作空间为简单模式还是企业模式。新建企业模式工作空间时,此处需配置为企业模式。
企业项目
DataArts Studio实例默认工作空间关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式,具体请参见《企业管理用户指南》。
如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。- 一个企业项目下只能购买一个DataArts Studio实例。
- 需要与其他云服务互通时,需要确保与其他云服务的企业项目一致。
作业日志OBS路径
用于指定DataArts Studio数据开发作业的日志存储的OBS桶。工作空间成员如需使用DataArts Studio数据开发,必须具备“作业日志OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写数据开发的作业日志。
- 单击“请选择”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置作业日志OBS桶。
- 如果不配置该参数,DataArts Studio数据开发的作业日志默认存储在以“dlf-log-{projectId}”命名的OBS桶中,{projectId}即项目ID。
DLI脏数据OBS路径
用于指定DataArts Studio数据开发中DLI SQL执行过程中的脏数据存储的OBS桶。工作空间成员如需使用DataArts Studio数据开发执行DLI SQL,必须具备“DLI脏数据OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写DLI SQL执行过程中的脏数据。
- 单击“请选择”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置DLI脏数据OBS桶。
- 如果不配置该参数,DataArts Studio数据开发的DLI SQL脏数据默认存储在以“dlf-log-{projectId}”命名的OBS桶中。
标签
通过为资源添加标签,可以对资源进行自定义标记,实现资源的分类。当拥有多个工作空间时,您可以按使用者、维护者或用途等各类维度为各工作空间添加标签,然后在工作空间列表页面,可以通过标签搜索、识别不同类型的工作空间。
标签由标签键和标签值组成。在添加标签时,标签键和标签值可以选择在标签管理服务(简称TMS)中创建的预定义标签,也可以直接输入自定义的标签。然后单击输入框右侧的“添加”,即可成功添加一条标签。说明:预定义标签需要预先在标签管理服务中创建好,然后才能进行选择。您可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签,具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。
另外,工作空间最多支持添加20个标签,标签的键名不能重复,一个“标签键”只能添加一个对应“标签值”。
- 创建后操作
创建后需要管理员手工新建数据连接、配置环境隔离,并按照组织分工在工作空间处定义管理员、开发者、部署者、运维者等角色。
- 新建数据连接:请参考创建DataArts Studio数据连接。
- 配置环境隔离:请参考配置DataArts Studio企业模式环境隔离。
- 为其他用户定义工作空间角色:请参见添加工作空间成员和角色章节添加工作空间成员和角色。
- 另外,新建企业模式工作空间,还需要您在数据开发中配置空间级别的公共委托或公共IAM账号。配置委托的操作详情可参见配置调度身份。
图7 配置工作空间委托