产品规格
本节介绍计算资源和存储资源的产品规格。
- 计算资源:
使用AI DataLake时您需要购买计算资源池用于数据分析和计算。
如图1所示,AI DataLake提供了两种计算资源池:
- 存储资源
AI DataLake提供的临时存储主要用于作业过程中的临时下盘、临时缓存等用途的存储资源,包括中间结果或模型文件等。当计算任务需要访问或生成大量数据,且这些数据无法完全由计算节点本地存储或共享存储系统承载时,就需要增加计算资源组外的存储资源。
约束与限制
AI DataLake服务的具体规格以控制台在售规格为准。
CPU资源规格
CPU资源提供了通用计算增强型、通用计算标准型、通用计算内存增强型三种选择。
- 通用计算增强型:
该规格下,vCPU与内存的比例为1:2,适合于CPU密集型作业,例如实时流作业处理等。
- 通用计算标准型:
该规格下,vCPU与内存的比例为1:4,适合于大多数作业类型。
- 通用计算内存增强型:
该规格下,vCPU与内存的比例为1:8,适合于内存密集型作业,例如离线批处理作业等。
| 规格类型 | 规格名称 | 架构 | vCPUs | 内存 | SKU名称 |
|---|---|---|---|---|---|
| 通用计算增强型 | 通算资源-x86CPU增强型(1c2g) | x86 | 1 | 2GB | aidatalake.cpu.x86.general.1c2g |
| 通算资源-鲲鹏CPU增强型(1c2g) | 鲲鹏 | 1 | 2GB | aidatalake.cpu.aarch64.general.1c2g | |
| 通用计算标准型 | 通算资源-x86CPU标准型(1c4g) | x86 | 1 | 4GB | aidatalake.cpu.x86.general.1c4g |
| 通算资源-鲲鹏CPU标准型(1c4g) | 鲲鹏 | 1 | 4GB | aidatalake.cpu.aarch64.general.1c4g | |
| 通用计算内存增强型 | 通算资源-x86CPU内存增强型(1c8g) | x86 | 1 | 8GB | aidatalake.cpu.x86.general.1c8g |
| 通算资源-鲲鹏CPU内存增强型(1c8g) | 鲲鹏 | 1 | 8GB | aidatalake.cpu.aarch64.general.1c8g |
GPU资源规格
GPU实例适用于图形渲染和大规模并行计算场景,适合深度学习训练和科学计算。GPU拥有数千个计算核心,可以同时处理大量简单计算任务。
- GPU资源的特点:支持并行计算,适用于批处理作业场景,数千个核心同时计算,处理效率高。天然适合深度学习、神经网络、AI计算场景。
- GPU资源的适用场景:深度学习,例如神经网络训练、模型调优场景;图形处理场景,例如图像识别、目标检测;视频处理场景,例如视频分析、转码、视频渲染场景,等其他AI科学计算场景。
NPU资源规格
NPU适用于AI计算场景,NPU资源采用架构优化和指令集,专门加速AI推理任务。
- NPU资源的特点:AI计算场景专用,具备高性能、低延迟、推理成本更优的特点。
- NPU资源的适用场景:AI计算场景、图像识别场景,推荐系统等AI计算相关场景,是当前人工智能训练与推理的重要基础设施。
存储资源规格
存储资源是AI DataLake提供的按需购买的存储介质,按容量和时长计费,用于承载作业运行过程中产生的各类数据,如临时数据、缓存、中间结果、模型文件等。
存储资源本身是一种通用的“存储介质”,各引擎基于自身的作业类型,在该存储介质中存放不同的内容。
推荐您配置存储资源,如果未配置存储资源,端点只能使用资源池关联的容器资源自带的本地磁盘来存储数据,存储空间无法保证,且无法通过单独的存储资源实现数据共享。
这里配置的存储资源均属于临时存储,请勿在其上保留需要持久化存储的数据。
| 端点类型 | 是否必选 | 存储资源中主要存放的内容 | 配置方法 | 操作指导 |
|---|---|---|---|---|
| AuraJobV2 | 必选 | 存放作业过程中的临时下盘、临时缓存等,包括中间结果或模型文件等。 | 创建端点时,在“存储配置 > 选择临时文件存储”区域选择已创建的存储资源。 | 详细操作请参考创建Aura引擎端点。 |
| AuraJob | 可选 | 存放作业过程中的临时下盘、临时缓存等,包括中间结果或模型文件等。 | 创建端点时,在“存储配置 > 选择临时文件存储”区域选择已创建的存储资源。 | 详细操作请参考创建Aura引擎端点。 |
| RayCluster | 可选 | 存放作业运行中的临时数据。 | 创建端点时,勾选“存储配置”,配置“选择临时存储”,选择已创建的存储资源,配置存储路径和挂载路径。 | 详细操作请参考创建Ray引擎端点。 |
临时存储底层通过SFS Turbo HPC型实现,它是一种高性能、弹性扩展、支持共享访问的云文件存储服务,适合多种需要统一文件系统的业务场景。
它的访问带宽会随不同规格及购买的容量而浮动。详情请参见:SFS Turbo文件系统类型。
| 存储资源规格名称 | 容量可选范围 |
|---|---|
| aidatalake.storage.fuse.20MBps | 3.6 TiB-1 PiB |
| aidatalake.storage.fuse.40MBps | 1.2 TiB-1 PiB |
| aidatalake.storage.fuse.125MBps | 1.2 TiB-1 PiB |
| aidatalake.storage.fuse.250MBps | 1.2 TiB-1 PiB |
| aidatalake.storage.fuse.500MBps | 1.2 TiB-1 PiB |
| aidatalake.storage.fuse.1000MBps | 1.2 TiB-1 PiB |
