# Atlas 950 SuperPoD超节点介绍
#### 昇腾950芯片简介
AI时代的到来为全球计算领域带来跨越式变革。算力需求在大模型爆发式演进下呈指数级增长，大幅超越摩尔定律揭示的硬件迭代速度。数据规模持续激增，过去五年全球年新增数据量从64ZB飙升至近500ZB，以前所未有的体量冲击着传统计算架构。 在LLM大模型预训练和后训练场景中，大量All-to-All数据交换使得单次芯片间通信数据达到数十MB，一次迭代的总通信数据量相比小模型提升近百倍，达到数百GB， 传统的互联带宽难以支撑如此密集的通信。LLM大模型推理对算力需求的增长速度远大于硬件迭代速度，有必要引入低精度数据格式以提升有效算力。同时多模态生成和多模态理解计算任务的算存比相差巨大，单一类型硬件难以达到最佳性价比。AI Agent应用需要超长上下文记忆、多轮复杂交互以及长时间的任务规划，导致KV Cache存储需求呈指数级增长，单靠AI芯片内存存储已无法支撑业务的快速发展。为了应对上述挑战，我们推出了全新的昇腾950系列芯片及产品。
华为云使用昇腾950DT芯片构建A5 1D PoD超节点形态，昇腾950DT芯片是一个多Die合封的芯片，整芯片里合封了2个AI Die、2个IO Die和4个（昇腾950DT）高速片上内存模块，这些Die和片上内存模块通过高速的D2D Clink和Memory Interface连接在一起，整个Chiplet芯片构成一个内存统一访问（UMA）的整体。
图1950DT芯片架构   
![](https://support.huaweicloud.com/resmgmt-modelarts/figure/zh-cn_image_0000002795325253.png "点击放大")
完整的950DT芯片主要包括如下规格：
- 36个基于第三代Davinci架构的AI子系统， 每个AI子系统包括1个Cube Core和2个Vector Core。
- 4个AI CPU Cluster， 每个AI CPU Cluster包括2个华为自研的基于ARMv8-A架构的高性能、低功耗双线程处理器Linx816 CPU和4MB L3 Cache。
- 4个DVPP子系统，包括4个VPC Core， 4个图片编码JPEGE Core和8个图片解码JPEGD Core。
- 128MB统一访问的L2 Cache。
- 新一代高效任务调度系统STARS2.0。
- 高带宽高容量片上内存：
  - 昇腾950DT：单芯片可提供最高4TB/s带宽和96GB容量。
   

- 华为自研的灵衢互联系统Unified Bus 2.0，包括：
  - UB2.0协议，支持异步拷贝的URMA和Load/Store全局内存语义UB Memory；
  
  
  
  - 通过Port兼容复用，芯片对外提供PCIe通信协议接口，速率最高支持GEN5 x16，向下兼容GEN4/3/2/1，支持EP模式与RC两种模式；
  
  - 支持2\*400Gbps的UBoE，用于支持UB协议接入以太网络，支持1x4/2x2模式的Port Bifurcation，即1x400/200/100/50/25Gbps或者2x200/100/50/25Gbps端口速率。
   
 
#### Atlas 950 SuperPoD简介
华为新一代Atlas 950 SuperPoD是基于Ascend 950人工智能芯片的超节点。具有超节点架构、极简部署、超高可靠性等特点。支持大规模、高性能AI（Artificial Intelligence）训练与推理业务，广泛适用于智算中心、政府、互联网、运营商、金融等领域，可承载大模型预训练、强化学习后训练及大规模推理服务。 Atlas 950 SuperPoD超节点的设备物理形态主要包含计算柜和灵衢互联柜。其中计算柜可以以单柜形态提供最小化规模超节点算力系统，也可以和灵衢互联柜一起组成不同节点规模的超节点算力集群。
图2外观示意图（1024超节点）   
![](https://support.huaweicloud.com/resmgmt-modelarts/figure/zh-cn_image_0000002795479451.png "点击放大")
**产品特点：**
1. **超节点架构**。单柜支持64超节点，系统最大支持1024超节点。
2. **极高AI能效** 。
   1. 支持液冷散热，支持集群更优PUE（Power Usage Effectiveness）。
   
   2. 依托灵衢高速总线实现计算柜内全电互连。
    
3. **极简部署** 。
   1. 机柜工厂预集成，整柜运输和交付。 -- 支持整柜运输（不含机柜门），涵盖计算柜、灵衢互联柜及其内部设备。
      -- 支持算网融合，满足单柜16个鲲鹏950处理器+64个Ascend 950DT处理器+电源。
      -- 支持柜内网口汇聚，简化机房部署：支持UBM（ UnifiedBus Manager）/BMC网口汇聚、带内管理网口汇聚。
      
   
   2. 灵衢管理刀片、 CPU计算刀片、 NPU计算刀片、灵衢IO转换刀片和灵衢互联设备高可靠全盲插。
   
   3. 计算柜整柜即设备，简化管理：将复杂计算集群封装为单一逻辑设备，提供统一管理界面，极大降低运维复杂度。
    
4. **高能效。**
   1. 计算柜散热液冷比高达83.6%（不同情况下可能存在一定偏差，需要根据实际配置进行计算）。
   
   2. 计算柜内各刀片和灵衢互联柜内灵衢互联设备采用54V DC供电。
   
   3. 54V DC集中供电，满足CQC3178-2021标准V级能效要求。
    
5. **超高可靠** 。
   1. 机柜电源模块支持N+1冗余。
   
   2. 无滴漏快接头，支持液冷对接件快接和盲插。
   
   3. 支持交流输入。
   
   4. 支持液冷Manifold、电源Busbar盲插架构。
   
   5. 计算柜创新OD正交架构，水平与竖直板卡天然构成3D交换网络，提供更高带宽和更低延迟的互连性能。
    
6. **极简智能运维** 。
   1. 智能故障诊断和隔离：支持CPU（Central Processing Unit）和内存智能故障诊断和隔离，提升系统可靠性。
   
   2. 灵衢管理刀片支持Redfish、 SNMP（Simple Network Management Protocol）和NETCONF等接口，可以被第三方网管集成。
   
   3. 支持被网管软件如CCAE（Cluster Computing Autonomous Engine）或第三方智能管理平台纳管运维。
    
7. **低TCO。**
   1. 高密设计，节省机房空间。
   
   2. 柜级交付，降低运输、仓储成本。
   
   3. 机柜采用双路供电，支持机房2N、 N+R和DR供电架构。
    
 
#### 名词解释
本章涉及的相关概念请参考[表1]。
 表1名词解释 
| 类别  | 术语/简称         | 含义                                                                                                                              |
|:---|:---|:---|
| 通信  | SDMA         | System Direct Memory Access，系统直接内存访问技术，允许外围设备直接访问系统内存，而不需要CPU的干预。                                                              |
| 通信  | RDMA        | Remote Direct Memory Access，远程直接内存访问技术，能够直接将数据从一台机器的内存传输到另一台机器，无需双方操作系统的介入，一般指可以跨网络的内存访问方式。                                    |
| 通信  | RoCE           | 全称叫RDMA over Converged Ethernet，RoCE是在以太网环境中实现RDMA（远程直接内存访问）的核心技术。                                                               |
| 通信  | NIC         | network interface controller，俗称网卡，别称网络适配器 (Network Adapter)、局域网适配器 (LAN Adapter)，作为计算机与传输介质（如网线、光纤、无线电波）之间的桥梁，负责数据的封装、发送、接收和解封。 |
| 通信  | RNIC          | RNIC（RDMA-enabled Network Interface Controller）是具备远程直接内存访问（RDMA）功能的特殊网卡。它是高性能计算和大规模数据中心的核心基础设施。                                 |
| 通信  | PCIe        | Peripheral Component Interconnect Express，一种串行外设扩展总线标准，常用于计算机系统中的外设扩展。                                                            |
| 通信  | HRS          | High Radix Switch，5808。                                                                                                        |
| 通信  | LRS          | Low Radix Switch。                                                                                                               |
| 通信  | FM           | Fabric Manager，域内互联管理器。                                                                                                        |
| 通信  | UB           | Unified Bus，从单机到跨数据中心全场景互联协议。                                                                                                     |
| 通信  | UBoE          | UB over Ethernet，以太网上的UB。                                                                                                      |
| 通信  | UB2E         | UB to Ethernet，UB到以太网转换桥。                                                                                                      |
| 通信  | CCU         | Collective Communication Unit，Davinci上新增的用于加速集合通信的硬件加速器。                                                                       |
| 通信  | UMMU         | Unified Memory Management Unit，统一内存管理单元。                                                                                         |
| 通信  | 灵衢1.0       | 超节点内CPU、NPU等通信协议。1.0代表910C + HCCS的一代产品统称。                                                                                       |
| 通信  | 灵衢2.0        | 超节点内CPU、NPU等通信协议。2.0代表950系列产品+UB的一代产品统称。                                                                                         |
| 通信  | HCCL         | Huawei Collective Communication Library，华为集合通信库。提供单机多卡以及多机多卡间的数据并行、模型并行集合通信方案。                                                  |
| 通信  | HCOMM        | Huawei Communication，华为通信基础库。                                                                                                    |
| 通信  | HCCS         | Huawei Cache Coherence System，华为缓存一致性系统。用于CPU/NPU之间的高速互联。                                                                      |
| 通信  | HCCP         | Huawei Collective Communication adaptive Protocol，集合通信适配协议。提供跨NPU设备通信能力，向上屏蔽具体通信协议差异。                                         |
| 通信  | Scale-Up       | 超平面，采用灵衢协议通信。                                                                                                                  |
| 通信  | Scale-Out     | 参数面，采用RoCE协议通信。                                                                                                                 |
| 内存语义 | URMA          | Unified Remote Memory Access，大规模异步访存，支持8K超节点范围内存语义。                                                                             |
| 内存语义 | UB Memory    | 低时延同步内存语义，最大支持1K超节点范围内内存语义。                                                                                                    |
| 计算   | Ascend 950PR | Ascend芯片，950PR型号。                                                                                                              |
| 计算   | Ascend 950DT  | Ascend芯片，950DT型号。                                                                                                             |
| 计算   | SIMT         | Single Instruction，Multiple Threads（单指令多线程），一种并行计算模型，它允许编译器和硬件将单一指令同时分发给成百上千个独立的线程去执行。                                           |
| 计算   | SIMD        | Single Instruction，Multiple Data（单指令多数据流）。                                                                                     |
| 计算   | STARS        | System Task and Resource Scheduler，昇腾芯片内部系统任务和资源调度器。                                                                             |
| 计算   | NoC          | NetWork on Chip，由多条ring构成。                                                                                                       |
| 存储   | DDR           | Double Data Rate SDRAM（双倍数据率同步动态随机存取存储器）；DDR是衔接CPU与存储数据的核心纽带。                                                                  |
| 存储   | HBM           | High Bandwidth Memory（高带宽内存）；HBM是一种基于3D堆栈技术的高性能DRAM架构。                                                                          |
| 硬件说明 | 超节点          | 超节点是指通过高速互联网络技术，由单台或多台高性能AI服务器组建而成的"超级计算节点"，专门用于处理AI大模型训练与推理等对算力要求极高的任务。                                                          |
| 硬件说明 | 柜           | 数据中心的基础物理单元，包括计算柜、灵衢互联柜，一般指计算柜，单计算柜有64卡。                                                                                      |
| 硬件说明 | 灵衢互联刀片       | 计算柜内的互联组件，采用光电互联实现机柜内部"零电缆、零电路损耗"。                                                                                              |
| 硬件说明 | UB网卡         | 基于华为"灵衢"（Unified Bus）统一总线规范开发的专用网络与总线适配硬件，支持参数面组网互联。                                                                           |
| 硬件说明 | 灵衢IO转换刀片      | 进行UB协议、RoCE协议转换。支持8或16个UB网卡。                                                                                                   |
| 硬件说明 | PCIe-SW     | PCIe Switch，符合PCIe总线扩展的交换设备。                                                                                                   |
| 硬件说明 | 1825          | 一种RNIC，一种DPU网卡，可以接NPU或CPU，使芯片可以连接RoCE交换机；采用数（数据）控（控制）分离设计。                                                                    |
| 硬件说明 | 5808       | 互联芯片，112G Serdes，400Gbps\*128，51.2T。                                                                                             |
| 硬件说明 | 1650         | Kunpeng的一种CPU型号，早期的还有1620。                                                                                                       |
| 硬件说明 | Union         | 即UB Die。                                                                                                                       |
| 硬件说明 | Unions       | 互联芯片，112G的SerDes，400Gbps\*18，6.4T。                                                                                              |