Recursos de almacenamiento
Descripción
Como servicio de almacenamiento de archivos distribuido en un clúster de big data, HDFS almacena todos los datos de usuario de las aplicaciones de capa superior en el clúster de big data, incluidos los datos escritos en tablas HBase o tablas Hive.
Un directorio es la unidad básica de asignación de recursos de almacenamiento HDFS. HDFS soporta la estructura de archivos jerárquica convencional. Los usuarios o las aplicaciones pueden crear directorios y crear, eliminar, mover o cambiar el nombre de archivos en directorios. Tenants pueden obtener recursos de almacenamiento de información de directorios especificados en el sistema de archivos HDFS.
Mecanismo de programación
Los directorios HDFS se pueden almacenar en nodos con etiquetas especificadas o discos de tipos de hardware especificados. Por ejemplo:
- Cuando las tareas de consulta en tiempo real y de análisis de datos se ejecutan en el mismo clúster, las tareas de consulta en tiempo real solo deben desplegar en ciertos nodos, y los datos de la tarea también deben almacenarse en estos nodos.
- De acuerdo con los requisitos de servicio reales, los datos clave deben almacenarse en nodos altamente confiables.
Los administradores pueden configurar de forma flexible las políticas de almacenamiento de datos HDFS según los requisitos de servicio reales y las características de datos para almacenar datos en nodos específicos.
Para tenants, los recursos de almacenamiento se refieren a los recursos HDFS que usan. Los datos de directorios especificados se pueden almacenar en las rutas de almacenamiento especificadas por el tenant, implementando así la programación de recursos de almacenamiento y asegurando el aislamiento de datos entre los tenants.
Los usuarios pueden agregar o eliminar directorios de almacenamiento HDFS de tenants y establecer la cuota de cantidad de archivos y la cuota de capacidad de almacenamiento de los directorios para gestionar los recursos de almacenamiento.
