更新时间:2023-06-20 GMT+08:00
分享

云容器引擎环境

云容器引擎是由一系列弹性云服务器组成的一个Kubernetes集群,基因容器所有执行的分析流程都会运行在这个集群中。如果您对集群并不了解,请查看集群概述,了解集群概念、集群和虚拟私云及子网间关系、集群和节点的使用约束。

创建环境

开始基因分析前,请先创建环境。

  1. 登录GCS控制台,选择左侧导航栏的“环境管理”,在右侧页面单击“创建环境”
  2. 设置“默认环境”:是/否。若当前没有环境,则将要创建的环境即为默认环境。默认环境有且只有一个。在有多个集群时,执行分析任务时如果不指定投递集群,则将任务投递至该默认集群。
  3. 选择“环境类型”:“云容器引擎 CCE”。
  4. 选择“关联桶”:OBS存储用于存储分析前后产生的数据,包括原始基因数据、流程执行中间数据及执行结果数据。

    • 如果您已有可用桶,在创建环境中,选择对应的桶即可。关联OBS存储,对应对象存储或并行文件系统,并行文件系统详细说明请参见并行文件系统
    • 如果没有可用桶或是需要新建桶,请单击“创建桶”,基因容器将为您创建一个桶。此处创建的桶无法选择企业项目,默认创建default企业项目。

  5. 设置“计算资源”:选择“已有资源”或“新建资源”。如果您在CCE中已有可用集群,则在创建环境时,选择对应的集群做为基因容器的计算资源即可。

    为保证有足够的资源,请给基因环境规划独立的集群。

    如果您在CCE中没有可用的集群,或不想使用已有集群,请选择“新建资源”,并根据需求选择集群参数。环境创建成功后,可对计费模式和集群规格进行变更,具体操作请参见查看环境

    • 计费模式:“按需计费”或“包年/包月”。
      • 按需计费:根据实际使用的资源按小时计费。
      • 包年/包月:包周期计费。包年/包月集群创建后不能删除,如需停止使用,请到用户中心执行退订操作。
    • 集群名称:新建集群的名称。
    • 集群版本:选择集群对应的版本,对应Kubernetes社区基线版本,建议选择最新版本。
    • 集群管理规模:当前集群支持管理的最大节点规模。若选择50节点,表示当前集群最多可管理50个节点。
    • 高可用:高可用集群包含多台管理节点,单管理节点故障时,集群依然可用。推荐使用高可用集群。
    • 企业项目:

      该参数针对企业用户使用。如需使用该功能,请联系客服申请开通。

      企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,默认项目为default。

      请从下拉列表中选择所在的企业项目。更多关于企业项目的信息,请参见《企业管理用户指南》

    • 虚拟私有云:虚拟私有云是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。若没有可选VPC,单击创建虚拟私有云进行创建,参数配置请参考创建虚拟私有云基本信息及默认子网
    • 所在子网:通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。若没有可选子网,单击创建子网进行创建。如果集群规模超过250台,那么子网大于255.255.255.0。
    • 可用区:指在同一服务区内,电力和网络互相独立的地理区域。一个区域内有多个可用区,一个可用区发生故障后不会影响同一区域内的其它可用区,可用区之间通过内网访问。
    • 节点规格:选择所需的规格(通用计算增强型/通用型计算型/GPU加速型),选择节点的CPU配额和内存配额。
      • 通用计算增强型:计算增强型实例具有性能稳定且资源独享的特点,满足计算性能高且稳定的企业级工作负载诉求。
      • 通用型计算型:通用计算型实例提供均衡的计算、存储以及网络配置,适用于大多数的使用场景。通用计算型实例可用于Web服务器、开发测试环境以及小型数据库应用等场景。
      • GPU加速型:GPU实例提供图形处理器 (GPU) 及较高的计算性能配置的实例,可以适用于图形渲染要求较高的应用,例如高清视频、图形渲染、远程桌面等场景。
    • 节点个数:单击,选择添加的节点个数。
    • 操作系统:选择节点对应的操作系统。推荐使用EulerOS 2.2。
    • 系统盘:磁盘类型为“普通IO”、“高IO”或“超高IO”,磁盘大小可设置为40~1024GB。
      • 普通IO:由SATA存储提供资源的磁盘类型,该类型云硬盘的最大IOPS为1000;
      • 高IO:由SAS存储提供资源的磁盘类型,该类型云硬盘的最大IOPS为3000;
      • 超高IO:由SSD存储提供资源的磁盘类型,该类型云硬盘的最大IOPS为20000。
    • 数据盘:磁盘类型为“普通IO”、“高IO”或“超高IO”,磁盘大小可设置为100~32678GB。
    • 登录方式:“密钥对”或“密码”。
      • 密钥对:选择登录节点的密钥对。密钥对用于远程登录节点时的身份认证,若没有密钥对,可单击“创建SSH密钥对”来新建。
      • 密码:输入登录节点的密码,并确认密码。

  6. 单击“下一步”,确认环境信息配置后单击“提交”。系统将跳转到“环境管理”页面,环境创建预计需要花费6-10分钟时间。新建资源的环境您可单击“查看详情”,前往CCE页面查看集群创建详情。

查看环境

创建环境后,可以通过查看环境确认环境的状态和信息。

  1. 登录GCS控制台,选择左侧导航栏的“环境管理”,单击“云容器引擎”页签。在环境列表页可查看环境状态、集群名称、计费模式、关联桶等,如图1

    图1 CCE环境列表页
    在环境列表页您可执行变更关联桶、查看集群详情、查看集群监控、休眠/唤醒环境、清理环境等操作。
    • 变更关联桶:单击关联桶后的,在弹出的对话框中选择其他桶,然后单击“确认”
    • 查看集群详情:单击集群名称,前往CCE界面查看集群详情。
    • 查看集群监控:单击,进入集群监控页面查看集群节点、控制节点、工作负载和负载实例的CPU、内存和磁盘等的使用情况。
    • 环境休眠/唤醒:单击“环境休眠/唤醒”,可将CCE环境休眠/唤醒,具体操作请参见休眠/唤醒环境
    • 清理环境:单击“清理环境”,可清理CCE环境,具体操作请参见清理环境

  2. 单击“云容器引擎”的环境名称,进入环境管理详情页面。

    图2 CCE环境管理详情

    在环境管理详情页面还可查看节点、控制节点、弹性伸缩、事件、存储等信息。

    • 节点:节点是指接入到平台的计算资源,包括虚拟机、物理机等。您需确保所在项目节点资源充足,若节点资源不足,会导致创建工作负载等操作失败。
      图3 环境管理详情-节点

      单击可监控节点的CPU、内存和磁盘的使用情况。

      单击“节点管理”,可根据界面提示使用用户模式对节点进行管理,“按需付费节点”标签为必选,可勾选“禁止自动缩容”“不再接收新任务”“任务指定内存”标签。单击“确定”后,在节点页面可查看节点属性,如图3
      图4 节点管理-用户模式

      专业模式的管理方法请参考CCE节点标签管理

    • 控制节点:控制节点由华为云托管,您不能登录。单击可监控控制节点的CPU、内存和磁盘的使用情况。如果控制节点出现异常,请联系华为云支持定位修复。
    • 弹性伸缩:伸缩策略定义后,可自动触发节点的增减,从而降低人为反复调整资源以应对业务变化和高峰压力的工作量,帮助您节约资源和人力成本。单击“添加策略”,根据界面提示配置集群自动扩缩容参数。
      图5 添加策略
      • 密码:自动扩容node节点密码。通过该密码登录node节点执行相关操作,用户名为root。
      • 确认密码:再次输入自动扩容node节点密码。
      • 自动缩容:是否启用集群缩容。
        • 空置时间(min):启用集群缩容后,集群节点处于unneed状态多长时间后,删除节点(默认10min)。
        • 百分比:启用集群缩容后,集群节点资源低于多少,会进行集群缩容(默认0.5)。
      • 节点总数:可扩容的最大节点总数。
      • cpu总数(核):可扩容的最大cpu总数(核)。
      • 内存总数(G):可扩容的最大内存总数(G)。
      • 预置节点池配置:默认资源组,最多可设置10个。集群扩容时,若没有其他可用分组,使用默认分组的资源规格进行扩容节点。
        • 可用区:指同一服务区内,电力和网络互相独立的地理区域。
        • 操作系统:节点对应的操作系统。
        • 节点规格:节点的CPU配置和内存配置。
        • Taints:支持给该节点池扩容出来的节点加Taints来设置反亲和性,每个节点池最多配置10条Taints,每条Taints包含以下3个参数:

          Taints是可选项,默认为空。配置时需要配合Pod的toleration使用,否则可能导致扩容失败或者Pod无法调度到扩容节点。

          • Key:必须以字母或数字开头,可以包含字母、数字、连字符、下划线和点,最长63个字符;另外可以使用DNS子域作为前缀,例如example.com/my-app, DNS子域最长253个字符。
          • Value:必须以字符或数字开头,可以包含字母、数字、连字符、下划线和点,最长63个字符。
          • Effect:只可选NoSchedule,PreferNoSchedule或NoExecute。

            Effect参数建议选择PreferNoSchedule,这样可使自动扩容的节点能够及时的缩容。

      伸缩策略配置成功后,单击“卸载”可删除策略。

      图6 删除伸缩策略
    • 事件:可以在“事件”页签下查看集群的事件。
    • 存储:包括“对象存储卷”、“文件存储卷”和“云硬盘存储卷”,使用方法请参考CCE存储管理。存储卷创建成功后,单击“删除”可删除存储卷。

  3. 单击集群名称,您将进入到CCE控制台,可查看集群详情信息。

休眠/唤醒环境

创建环境过程中用到的CCE、ECS、弹性IP等资源创建后即开始收费。当您在某段时间内不使用GCS时,需要休眠CCE环境。而由于CCI环境是按使用量计费,因此环境不使用时不产生费用,不需要休眠。

休眠后环境将保留,按需付费的CCE控制节点将暂停收费,弹性云服务器ECS、绑定的弹性IP等资源仍需收费。处于休眠状态的环境,可以执行唤醒环境操作,环境唤醒后,将继续收取控制环境资源费用。

  1. 登录GCS控制台,选择左侧导航栏的“环境管理”
  2. 选择需要休眠的环境,单击“环境休眠”,进入环境休眠详情页面,单击“确认”

    图7 休眠环境

  3. 环境休眠后,环境将保留。若需要继续使用环境,可单击“唤醒环境”来执行唤醒环境操作。

    图8 唤醒环境

清理环境

为了防止您为不需要的服务付费,建议您使用完成后清理环境。环境清理后基因容器服务将不再使用该集群,集群还将为您保留。已休眠的环境,请先唤醒再删除。如默认环境被清理,则最新创建的环境会自动变成默认环境。

  1. 登录GCS控制台,选择左侧导航栏的“环境管理”
  2. 单击“云容器引擎”页签,在需要清理的环境中单击“清理环境”

    图9 清理环境

  3. 在弹出的对话框中输入DELETE,环境清理后基因容器服务将不再使用该集群,集群还将为您保留。如需彻底删除该集群,请勾选“删除环境所创建的集群”,然后单击“确认”

    • 只有通过GCS“新建资源”创建的按需计费环境才可以“删除环境所创建的集群”
    • 包年/包月集群如需停止使用,请到“费用中心”执行退订操作。

查看或删除中间数据

由于中间数据存储在弹性文件服务(以下简称SFS)上,并且系统不会自动检测并清理SFS数据,因此为了确保SFS上有足够的存储空间,请维护中间数据,定期删除数据。

  1. 请确保CCE集群节点中配有可用的弹性IP,并已获取对应弹性IP地址。

    登录GCS控制台,选择“环境管理 > 云容器引擎CCE ”。单击环境名称,在环境管理详情页面查看集群中是否有某一个节点中已配置“弹性IP地址”(图10表示没有配置)。如没有配置,请进入网络控制台购买弹性公网IP,并绑定至集群任一节点上,详细操作请参见为弹性云服务器申请和绑定弹性公网IP

    图10 未配置弹性IP地址

  2. 查找SFS文件,查看或删除中间文件。

    1. 查找SFS文件共享路径位置。

      登录GCS控制台,选择“环境管理 > 云容器引擎CCE ”。单击环境名称,在环境管理详情页面单击“存储>文件存储卷”,“共享路径”列即为SFS文件共享路径位置。

    2. 使用密钥对登录到有弹性IP的节点上(方法请参见SSH密钥方式登录),本示例使用Linux操作系统登录弹性云服务器。
    3. 将卷挂载到节点中,以下以挂载目录至cde目录为例(挂载方法请参见挂载文件系统到云服务器(Linux))。

    4. 挂载完成后,可在目录中查看或删除中间文件。请定期删除过期的中间文件,确保剩余足够空间。

分享:

    相关文档

    相关产品