Atlas 950 SuperPoD超节点介绍

昇腾950芯片简介

AI时代的到来为全球计算领域带来跨越式变革。算力需求在大模型爆发式演进下呈指数级增长，大幅超越摩尔定律揭示的硬件迭代速度。数据规模持续激增，过去五年全球年新增数据量从64ZB飙升至近500ZB，以前所未有的体量冲击着传统计算架构。 在LLM大模型预训练和后训练场景中，大量All-to-All数据交换使得单次芯片间通信数据达到数十MB，一次迭代的总通信数据量相比小模型提升近百倍，达到数百GB， 传统的互联带宽难以支撑如此密集的通信。LLM大模型推理对算力需求的增长速度远大于硬件迭代速度，有必要引入低精度数据格式以提升有效算力。同时多模态生成和多模态理解计算任务的算存比相差巨大，单一类型硬件难以达到最佳性价比。AI Agent应用需要超长上下文记忆、多轮复杂交互以及长时间的任务规划，导致KV Cache存储需求呈指数级增长，单靠AI芯片内存存储已无法支撑业务的快速发展。为了应对上述挑战，我们推出了全新的昇腾950系列芯片及产品。

华为云使用昇腾950DT芯片构建A5 1D PoD超节点形态，昇腾950DT芯片是一个多Die合封的芯片，整芯片里合封了2个AI Die、2个IO Die和4个（昇腾950DT）高速片上内存模块，这些Die和片上内存模块通过高速的D2D Clink和Memory Interface连接在一起，整个Chiplet芯片构成一个内存统一访问（UMA）的整体。

图1 950DT芯片架构

完整的950DT芯片主要包括如下规格：

• 36个基于第三代Davinci架构的AI子系统， 每个AI子系统包括1个Cube Core和2个Vector Core。
• 4个AI CPU Cluster， 每个AI CPU Cluster包括2个华为自研的基于ARMv8-A架构的高性能、低功耗双线程处理器Linx816 CPU和4MB L3 Cache。
• 4个DVPP子系统，包括4个VPC Core， 4个图片编码JPEGE Core和8个图片解码JPEGD Core。
• 128MB统一访问的L2 Cache。
• 新一代高效任务调度系统STARS2.0。
• 高带宽高容量片上内存：
  • 昇腾950DT：单芯片可提供最高4TB/s带宽和96GB容量。

• 华为自研的灵衢互联系统Unified Bus 2.0，包括：
  • UB2.0协议，支持异步拷贝的URMA和Load/Store全局内存语义UB Memory；
  • 通过Port兼容复用，芯片对外提供PCIe通信协议接口，速率最高支持GEN5 x16，向下兼容GEN4/3/2/1，支持EP模式与RC两种模式；
  • 支持2*400Gbps的UBoE，用于支持UB协议接入以太网络，支持1x4/2x2模式的Port Bifurcation，即1x400/200/100/50/25Gbps或者2x200/100/50/25Gbps端口速率。

Atlas 950 SuperPoD简介

华为新一代Atlas 950 SuperPoD是基于Ascend 950人工智能芯片的超节点。具有超节点架构、极简部署、超高可靠性等特点。支持大规模、高性能AI（Artificial Intelligence）训练与推理业务，广泛适用于智算中心、政府、互联网、运营商、金融等领域，可承载大模型预训练、强化学习后训练及大规模推理服务。 Atlas 950 SuperPoD超节点的设备物理形态主要包含计算柜和灵衢互联柜。其中计算柜可以以单柜形态提供最小化规模超节点算力系统，也可以和灵衢互联柜一起组成不同节点规模的超节点算力集群。

图2 外观示意图（1024超节点）

产品特点：

1. 超节点架构。单柜支持64超节点，系统最大支持1024超节点。
2. 极高AI能效。
   1. 支持液冷散热，支持集群更优PUE（Power Usage Effectiveness）。
   2. 依托灵衢高速总线实现计算柜内全电互连。
3. 极简部署。
   1. 机柜工厂预集成，整柜运输和交付。

      – 支持整柜运输（不含机柜门），涵盖计算柜、灵衢互联柜及其内部设备。

      – 支持算网融合，满足单柜16个鲲鹏950处理器+64个Ascend 950DT处理器+电源。

      – 支持柜内网口汇聚，简化机房部署：支持UBM（ UnifiedBus Manager）/BMC网口汇聚、带内管理网口汇聚。

   2. 灵衢管理刀片、 CPU计算刀片、 NPU计算刀片、灵衢IO转换刀片和灵衢互联设备高可靠全盲插。
   3. 计算柜整柜即设备，简化管理：将复杂计算集群封装为单一逻辑设备，提供统一管理界面，极大降低运维复杂度。
4. 高能效。
   1. 计算柜散热液冷比高达83.6%（不同情况下可能存在一定偏差，需要根据实际配置进行计算）。
   2. 计算柜内各刀片和灵衢互联柜内灵衢互联设备采用54V DC供电。
   3. 54V DC集中供电，满足CQC3178-2021标准V级能效要求。
5. 超高可靠。
   1. 机柜电源模块支持N+1冗余。
   2. 无滴漏快接头，支持液冷对接件快接和盲插。
   3. 支持交流输入。
   4. 支持液冷Manifold、电源Busbar盲插架构。
   5. 计算柜创新OD正交架构，水平与竖直板卡天然构成3D交换网络，提供更高带宽和更低延迟的互连性能。
6. 极简智能运维。
   1. 智能故障诊断和隔离：支持CPU（Central Processing Unit）和内存智能故障诊断和隔离，提升系统可靠性。
   2. 灵衢管理刀片支持Redfish、 SNMP（Simple Network Management Protocol）和NETCONF等接口，可以被第三方网管集成。
   3. 支持被网管软件如CCAE（Cluster Computing Autonomous Engine）或第三方智能管理平台纳管运维。
7. 低TCO。
   1. 高密设计，节省机房空间。
   2. 柜级交付，降低运输、仓储成本。
   3. 机柜采用双路供电，支持机房2N、 N+R和DR供电架构。

名词解释

本章涉及的相关概念请参考表1。