Cómputo de alto rendimiento
Contexto
Un sistema o entorno de cómputo de alto rendimiento (HPC) está compuesto por un único sistema informático con muchas CPU o un clúster de múltiples clústeres informáticos. Puede gestionar una gran cantidad de datos y realizar cómputo de alto rendimiento que sería bastante difícil para las PC. HPC tiene una capacidad ultraalta en cálculo de coma flotante y se puede utilizar para campos de uso intensivo de cómputo y de datos, como el diseño industrial, la biociencia, la exploración energética, el renderizado de imágenes y la computación heterogénea. Diferentes escenarios imponen diferentes requisitos a los sistemas de archivos de uso general:
- Diseño industrial: En la fabricación de automóviles, el software de simulación CAE y CAD se utiliza ampliamente. Cuando el software está en funcionamiento, los nodos de cómputo deben comunicarse entre sí estrechamente, lo que requiere los sistemas de archivos de uso general que pueda proporcionar un ancho de banda alto y una latencia baja.
- Biociencia: Los sistemas de archivos de uso general deben tener un alto ancho de banda y una gran capacidad de almacenamiento y ser fácil de expandir.
- Bioinformática: Para secuenciar, ensamblar y comparar genes.
- Dinámica molecular: Para simular los cambios de las proteínas a nivel molecular y atómico.
- I+D de nuevos fármacos: Para completar el cribado de alto rendimiento (HTS) para acortar el ciclo I+D y reducir la inversión.
- Exploración energética: Las operaciones de campo, la prospección geológica, el procesamiento e interpretación de datos geológicos y la identificación de yacimientos de petróleo y gas requieren que los sistemas de archivos de uso general proporcionen una gran memoria y un ancho de banda alto.
- Renderizado de imágenes: El procesamiento de imágenes, el renderizado 3D y el procesamiento frecuente de archivos pequeños requieren un alto rendimiento de lectura/escritura, gran capacidad y un alto ancho de banda de los sistemas de archivos de uso general.
- Computación heterogénea: Los elementos de cómputo pueden tener diferentes arquitecturas de conjuntos de instrucciones, lo que requiere que el sistema de archivos de uso general proporcione un ancho de banda alto y una latencia baja.
SFS es un servicio de almacenamiento compartido basado en sistemas de archivos de uso general. Cuenta con intercambio de datos de alta velocidad, escalonamiento dinámico de almacenamiento, así como cambio de tamaño bajo demanda, fluido y en línea. Estas extraordinarias características permiten a SFS cumplir con los exigentes requisitos de HPC en cuanto a capacidad de almacenamiento, rendimiento, IOPS y latencia.
Una compañía biológica necesita realizar una gran cantidad de secuenciación génica mediante software. Sin embargo, debido a los pasos triviales, el despliegue lento, el proceso complejo y la baja eficiencia, los clústeres autoconstruidos tienen dificultades para mantenerse al ritmo del desarrollo del negocio. Las cosas están mejorando desde que la empresa recurrió a un software profesional de gestión de procesos de servicio HPC. Con los enormes recursos de cómputo y almacenamiento de la plataforma en la nube, el costo de inversión inicial y el costo de O&M se reducen en gran medida, el tiempo de despliegue del servicio se acorta y la eficiencia se mejora.
Proceso de configuración
- Prepare los archivos de secuenciación de ADN que se van a cargar.
- Inicie sesión en la consola de SFS y cree un sistema de archivos de uso general para almacenar los archivos preparados.
- Inicie sesión en los servidores en la nube que funcionan como nodo principal y nodo de cómputo y monte el sistema de archivos de uso general en ellos.
- En el nodo principal, cargue los archivos en el sistema de archivos de uso general.
- En el nodo de cómputo, edite los archivos.
Requisitos previos
- Se ha creado una VPC.
- Los servidores en la nube que funcionan como nodo principal y nodo de cómputo se han creado y están en la VPC creada.
- Se ha habilitado SFS.
Ejemplo de configuración
- Inicie sesión en la consola de SFS.
- Haga clic en Create File System en la esquina superior derecha de la página.
- En la página para crear un sistema de archivos de uso general, configure los parámetros según se indique.
- Una vez completada la configuración, haga clic en Create Now.
Para saber cómo montar un sistema de archivos en los ECS de Linux, consulte Montaje de un sistema de archivos de uso general en los ECS de Linux.
- Inicie sesión en el nodo principal y cargue los archivos en el sistema de archivos de uso general.
- Inicie la secuenciación génica. El nodo de cómputo obtiene el archivo de secuenciación génica del sistema de archivos de uso general montado para el cálculo.
