更新时间:2022-08-08 GMT+08:00

HPC

场景介绍

HPC是高性能计算(High Performance Computing)的简称。通常指以计算为目的,使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。HPC具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设计CAD/CAE,生物科学,能源勘探,图片渲染和异构计算等涉及高性能计算集群来解决大型计算问题的领域。根据其业务特性对共享的文件系统有如下要求:

  • 工业设计CAE/CAD:如汽车制造中使用到的CAE/CAD等涉及仿真软件,在进行数据计算时需要计算节点之间进行紧密的通信,要求文件系统高带宽、低时延。
  • 生物科学:要求参与大数据计算的文件系统高带宽、高存储且易于扩展。
    • 对生物基因数据进行测序、拼接、比对等处理,提供基因组信息以及相关数据系统的生物信息学领域。
    • 进行大规模分子动力学模拟来分析和验证蛋白质在分子和原子水平上的变化的分子动力学模拟领域。
    • 快速地完成高通量药物虚拟筛选从而大量缩短研发周期和减少投入资金的新药研发等领域。
  • 能源勘探:野外作业,勘探地质,对地质资料进行处理和解释以及进行油藏和汽藏的识别要求文件系统内存大、高带宽。
  • 图片渲染:图像处理、三维渲染,频繁处理小文件,要求文件系统数据读写性能强、容量大、高带宽。
  • 异构计算:这种以不同类型的指令集和体系架构的计算单元为组成的系统计算方式要求文件系统高带宽、低时延。

弹性文件服务是基于文件系统的共享存储服务,具有高速数据共享,动态分级存储,按需平滑扩展,支持在线扩容等特点,能充分满足高性能计算中用户对存储容量,吞吐量,IOPS(每秒读写次数)和各种工作负荷下低时延的需求。

某生物平台需要软件进行大量的基因测序,但业务处理步骤多,业务部署慢,流程复杂,效率低,易出错,所以自建集群跟不上业务发展。但自从使用了提供专业的HPC业务流程管理软件,依托云平台的海量计算资源和存储资源,充分结合云平台和HPC特点,大大降低初始投资成本和后期运维成本,极大缩短业务上线时间,提高使用效率,节约运营成本。

配置流程

  1. 整理好需要上传的基因测序文件。
  2. 登录弹性文件服务控制台,创建一个文件系统用于存放基因测序文件。
  3. 登录作为头节点和计算节点的云服务器,挂载文件系统。
  4. 通过头节点将需要上传的基因测序文件上传到挂载的文件系统。
  5. 登录计算节点,直接对挂载的文件系统中的基因测序文件进行编辑。

前提条件

  • 已完成VPC创建。
  • 已完成作为头节点和计算节点的云服务器创建并将其归属在已创建的VPC下。如果需要将云下基因测序文件上传至SFS容量型文件系统中,请参考通过云专线迁移数据至弹性文件服务
  • 已开通弹性文件服务。

配置参考

  1. 登录弹性文件服务管理控制台。
  2. 在页面右上角单击“创建文件系统”
  3. 在创建文件系统页面,根据界面提示配置参数。
  4. 配置完成后,单击“立即创建”,完成文件系统创建。

    Linux系统ECS挂载操作请参见挂载NFS文件系统到云服务器(Linux);Windows系统ECS挂载操作请参见挂载NFS文件系统到云服务器(Windows)挂载CIFS文件系统到云服务器(Windows)

  5. 登录头节点,将需要上传的基因测序文件上传到挂载的文件系统。
  6. 启动基因测序任务,计算节点从挂载的文件系统中获取基因测序文件进行计算。