更新时间:2024-05-23 GMT+08:00

概述

Serverless GPU是一种高度灵活、高效利用、按需分配GPU计算资源的新兴云计算服务。GPU能力Serverless化,通过提供一种按需分配的GPU计算资源,在一定范围内有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文将介绍Serverless GPU的详细功能和优势。

传统GPU长驻使用方式存在许多问题,例如,需要提前规划好资源需求并容易造成资源浪费。而Serverless GPU则提供了一种更加灵活的方式来利用GPU计算资源,用户只需选择合适的GPU型号和计算资源规模,就可以帮助用户有效地解决GPU长驻使用方式导致的资源浪费、高成本、低弹性等问题,为用户提供更加便捷、高效的GPU计算服务,有效承载AI模型推理、AI模型训练、音视频加速生产、图形图像加速等加速工作负载。

GPU函数主要使用于:仿真、模拟、科学计算、音视频、AI和图像处理等场景下,使用GPU硬件加速,从而提高业务处理效率。

表1 GPU函数规格

卡型

vGPU 显存(GB)

vGPU 算力(卡)

特点描述

NVIDIA-T4

1~16

取值说明:必须是整数。

说明:由系统自动分配,无需手动配置

T4是一款独特的GPU产品,专为AI推理工作负载而设计,如处理视频,语音,搜索引擎和图像的神经网络。T4配备16GB GDDR6,GPU中集成320个Turing Tensor Core和2560个Turing CUDA Core,这款全新GPU具有突破性的性能,以及FP32/FP16/INT8/INT4等多种精度的运算能力,FP16的峰值性能为65T,INT8为130T,INT4为260T。

图1 GPU云产品选型决策指引
  • 目前该功能仅支持华东-上海一。
  • GPU函数不支持的网段:192.168.64.0/18,192.168.128.0/18,10.192.64.0/18,10.192.128.0/18。