链接复制成功!
部署
大数据平台部署
大数据平台的部署可以参考如下方法:
- 大数据集群部署
基于架构设计的原则,云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。具体部署方法可参考MRS官网文档。
- 大数据任务调度平台部署
如果目标架构是采用华为云的任务调度平台DataArts Studio,可以参考如下官网文档进行部署和配置。
如果目标架构是采用自建的大数据任务调度平台,有2种方法部署,可以基于华为云ECS重新部署大数据任务调度软件,或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。
- 大数据应用部署
大数据应用的部署有2种方法,可以基于华为云ECS重新部署大数据应用,或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。
平台权限配置
- 平台权限配置
在部署好目标大数据平台后,为了确保正确的权限设置,可以参考源端平台的权限设置,并按照以下步骤进行设置:
- 审查源端权限设置
仔细审查源端平台的权限设置,包括用户、角色、组织结构和权限级别等信息。了解每个用户的权限范围和访问权限,以便在目标平台上进行对应的设置。
- 创建用户和角色
根据源端平台的权限设置,创建相应的用户和角色。确保在目标平台上设置与源端平台一致的用户身份和角色分配。
- 调整权限级别和范围
在目标平台上,根据源端平台的权限设置,调整权限级别和范围。确保目标平台上的权限设置与源端平台一致,并确保用户只能访问其应有的资源。
- 权限分配和继承
在目标平台上,根据源端平台的权限设置,对用户进行权限分配和继承。确保用户在目标平台上具有与源端平台相同的权限,并能够继承相应的角色和权限设置。
- 审查和调整访问控制
审查目标平台上的访问控制机制,并根据源端平台的权限设置进行调整。确保访问控制能够限制用户的访问范围,并遵循源端平台的权限规则。
- 安全审计和监测
设置安全审计和监测机制,确保目标平台上的权限设置得到有效的审计和监测。这可以帮助发现和防止未经授权的访问,并及时采取相应的措施。