matmul-analysis/昇腾950PR/昇腾950PR架构解读.md

昇腾 950PR 微架构及规格详解（面向高性能 Matmul 算子开发）

资料来源（均为华为官方一手资料）：

• 《昇腾 950 NPU 架构白皮书》—— 昇腾NPU知识库/00_硬件/昇腾950_NPU架构白皮书.pdf
• CANN 商用版 9.0.0《Ascend C 算子开发》编程指南（NPU 架构版本 351x）—— 昇腾NPU知识库/CANN商用版9.0.0/
• CANN 9.0.0 版本说明（确认 950PR 支持特性）
• cann-samples matmul_story 性能建模文档（L2 带宽、MTE 带宽、性能公式）—— 昇腾NPU知识库/代码仓/cann-samples/Samples/2_Performance/matmul_story/
• 昇腾官网 Ascend 950PR 产品页

---

1. 产品定位

昇腾 950 系列是华为第三代达芬奇（DaVinci）架构旗舰芯片，包含 950PR 与 950DT 两款，共架构设计，通过搭配不同的片上内存实现差异化：

	昇腾 950PR	昇腾 950DT
定位	LLM Prefill、高性能推荐、多模态推理	大模型训练 + 推理全流程（含 Decode）
片上内存	128GB / 1.6TB/s	144GB / 4TB/s
产品形态	Atlas 350 加速卡	Atlas 850E / 950 SuperPoD 超节点、Atlas 650E 服务器

关键洞察：950PR 是"算力/带宽比"极高的芯片。 它的算力与 950DT 接近（同架构、同核心规模），但 HBM 带宽只有后者的 40%。这决定了它天然适合 Prefill、推荐这类**计算密集型（高算术强度）**负载。对 matmul 算子开发的直接推论：在 950PR 上，带宽是最宝贵的资源，Tiling 与 L2/L1 数据复用策略比在 DT 上更关键。

2. 芯片级架构：Chiplet 合封

• 整芯片合封 2 个 AI Die + 2 个 IO Die + 8 个高速片上内存模块（950PR；950DT 为 4 个内存模块），通过高速 D2D Clink 与 Memory Interface 互连
• 全芯片 UMA（统一内存访问）：地址空间统一管理，可跨 Die 访问 L2 Cache，Die 间 L2 一致性由硬件维护、软件不感知；L2 具有局部亲和性
• 满配 36 个 AI 子系统（每个含 1 Cube Core + 2 Vector Core）、4 个 AI CPU Cluster（自研 Linx816，ARMv8-A，物理双线程，每 Cluster 4MB L3）、4 个 DVPP 子系统（4 VPC + 4 JPEGE + 8 JPEGD）
• 新一代硬件调度器 STARS 2.0、128MB 统一 L2 Cache

3. 核心规格表（950PR）

规格项	满配	衍生版
Cube Core (AIC)	32	28
Vector Core (AIV)	64	56
Cube 算力 BF16/FP16	432 TFLOPS	378
Cube 算力 TF32	216 TFLOPS	189
Cube 算力 FP8 / HiF8 / MXFP8	865 TFLOPS	756
Cube 算力 MXFP4	1730 TFLOPS	1513
Cube 算力 INT8	865 TOPS	756
Vector 算力 FP16/BF16	54 TFLOPS	47
Vector 算力 FP32	27 TFLOPS	23
Vector 算力 INT8 / INT16 / INT32 / INT64	54 / 27 / 13 / 6 TOPS	47 / 23 / 11 / 5
Cube+Vector 总峰值 MXFP4	1784 TFLOPS	1561
片上内存容量 / 带宽	128GB / 1.6TB/s	112GB / 1.4TB/s
L2 Cache	128MB	112MB
互联	灵衢 UB 2.0：18 Port × 4×112Gbps，2016GB/s 双向；PCIe 5.0 x16（128GB/s，EP/RC 双模）；2×400G UBoE	同

3.1 单核算力与频率（已确认值）

CANN 官方 matmul 性能建模文档给出的 950PR 硬件参数为 32 核、1.65GHz，由此可得：

• 单 AIC BF16 算力 = 432 / 32 = 13.5 TFLOPS
• Cube 每拍完成 FP16/BF16 16×16×16 矩阵乘（8192 FLOPs/拍），13.5 TFLOPS / 8192 FLOPs ≈ 1.65GHz，与官方参数自洽
• 单 AIC 分摊的 HBM 带宽仅约 1.6TB/s ÷ 32 ≈ 50GB/s → BF16 matmul 要喂饱一个 Cube，需要约 270 FLOP/Byte 的算术强度，必须依靠 L1/L2 的大 tile 复用达成

4. 存储层级与带宽体系

4.1 存储层级容量（每核）

存储	容量	对齐要求	说明
高速片上内存（GM）	128GB（整芯片）	—	950PR 1.6TB/s
L2 Cache	128MB（整芯片）	512B line，4×128B Sector	全芯片 UMA 共享
L1 Buffer	512KB / AIC	32B	推荐 NZ 分形
L0A Buffer	64KB / AIC	512B	左矩阵，351x 架构改为 NZ 分形
L0B Buffer	64KB / AIC	512B	右矩阵，ZN 分形
L0C Buffer	256KB / AIC	64B	矩阵乘结果/中间结果（FP32 累加），比上代更大，Tiling 更灵活
Unified Buffer (UB)	512KB / AIV	32B	向量计算主存储，无格式要求
SIMD RegFile	VL = 256B 位宽	—	UB 与 Vector ALU 间新增寄存器层，中间结果不必回写 UB
SIMT RegFile	128KB / AIV	—	SIMT 线程寄存器（1~256 线程时每线程 127 个寄存器）

4.2 带宽数值总表（950PR，32 核 / 1.65GHz 满配）

链路	带宽	出处与说明
GM（HBM）总带宽	1.6TB/s	白皮书规格值，不区分读写单向
L2 Cache 带宽	5.2TB/s（≈ GM 的 3.3 倍）	cann-samples matmul_story 性能建模文档（32核/1.65GHz/1.6TB/s 参数与 950PR 满配一一对应）
MTE2（GM/L2→L1）	受 HBM 与 L2 共同决定，见 4.3 综合带宽模型	矩阵数据唯一入口
MTE1（L1→L0A/L0B）	256 BPC ≈ 422.4GB/s（单 AIC）	同上（BPC = Byte Per Cycle，×1.65GHz 换算）
MTE3 / Fixpipe 搬出（L0C→GM/UB）	256 BPC ≈ 422.4GB/s（单 AIC）	同上
Vector ALU	256B/拍	架构规格文档

注意区分：CANN 文档中"L2 192MB / 读写混合带宽 7TB/s / GM 1.6TB/s"的 L2 Cache 切分案例针对的是 Atlas A3 系列（L2 192MB），不是 950PR（L2 128MB）。950PR 应使用 L2 = 5.2TB/s 这一数值。

4.3 GM 带宽要不要区分读写？

结论：建模与分析时要区分，但官方只发布总带宽 1.6TB/s，单向读写带宽无公开数值，需以 msProf 实测为准。 要点如下：

1. 官方规格口径：白皮书只给出 1.6TB/s 总量，未区分读/写。HBM 物理上读写共享数据总线，读+写合计不能超过总带宽；读写混合流量还存在总线转向（bus turnaround）开销，混合流的有效带宽低于纯读。

2. Profiling 口径是分读写的：msProf op_summary 提供 main_mem_read_bw / main_mem_write_bw（GM 读/写带宽）、ub_read_bw / ub_write_bw、l1_read_bw / l1_write_bw 等字段。注意 Atlas 350 加速卡（即 950PR）不支持 l2_read_bw / l2_write_bw 字段，L2 带宽需结合 MTE2 流水与命中率间接评估。

3. Matmul 场景的读写竞争来源：

   • 读侧：MTE2 搬入 A/B 矩阵（matmul 的主要 GM 流量）；
   • 写侧：Fixpipe/MTE3 搬出 C 矩阵；
   • 隐藏写流量：L2 Cache 淘汰写回。当数据访问总量超过 L2 容量（128MB），替换出的脏数据需先写回 GM，占用 GM 写带宽，再读入新数据——这是大数据量 matmul 中容易被忽视的带宽损耗，也是对一次性输出设置 L2 non-allocate hint 的动机。

4. MTE2 综合带宽模型（官方 matmul 性能建模文档）：

   BandWidth_MTE2 ≈ (1 - L2HitRatio) × 1.6TB/s + L2HitRatio × 5.2TB/s
   T_MTE2 ≈ Size_HBM / 1.6TB/s + Size_L2 / 5.2TB/s
   

   其中 Size_HBM 为首次从 HBM 搬入的数据量，Size_L2 为命中 L2 的重复搬运量。工作集超过 L2 容量或存在多核竞争时以实测为准。

5. AI Core 微架构（351x 架构版本）

950 系列对应 CANN 的 NPU 架构版本 351x，AIC/AIV 分离架构，配比 1:2，每核有独立 Scalar 单元、可独立加载代码段。

5.1 数据通路（351x 相对上代的关键变化）

• 删除 GM→L0A/L0B 直达通路、L1→GM 回写通路 → 一切矩阵数据必须经 L1 进入，Tiling 设计围绕 L1(512KB) / L0A/L0B(64KB) / L0C(256KB) 三级组织
• 新增 L0C→UB、UB↔L1 直连通路（CV 融合通道）：matmul 结果可从 L0C 直接送 AIV 的 UB 做后处理（Softmax、GELU 等），不必绕道 GM——这是 FlashAttention 类融合算子单核性能提升 1.5~2 倍的硬件基础
• 新增 UB↔L1 硬通道、GM↔UB 搬运支持 Loop 模式（Normal/Compact）
• Fixpipe 随路硬化：L0C 输出阶段直接完成 FP32/INT32 → BF16/FP16/FP8/INT8 量化、ReLU/PReLU/LeakyReLU 激活、NZ↔ND/DN 排布转换（Channel merge/split）→ matmul+量化融合零额外搬运
• NDDMA 指令：核内多维 DMA，最多 5 维重排随搬运完成，硬化地址生成，内置缓存把离散读聚合成 128B 访问
• AIC↔AIV 核间通信走 SSBuffer（上代走 GM），延迟更低

5.2 Cube Core（矩阵计算单元）

• 支持 FP32 / TF32 / FP16 / BF16 / HiF8 / FP8_E4M3 / MXFP8 / MXFP4 / U8 / S8
• 每拍：FP16 16×16×16；INT8 16×32×16；FP8 系 = 2× BF16 算力，MXFP4 = 4× BF16 算力
• L0C 更大（256KB）→ 更灵活的 Tiling、更高数据复用率
• HiF8：华为自研 8bit 浮点，变长前缀码指示阶码位宽，锥形精度，38 个阶码（[-22, 15]，接近 FP16 的 40 个），无需 MXFP8 的 8bit 缩放因子

5.3 Vector Core（向量计算单元）

• 从传统 SIMD 升级为双发射 Register-Based SIMD，支持乱序执行；单核 FP16/FP32 算力较上代提升 100%
• 原生 BF16，丰富量化/反量化转换指令；针对 Softmax、GELU 优化微架构
• SIMD/SIMT 混合编程（SIMD 为主、SIMT 为辅）：SIMT 面向 gather/scatter、复杂分支；每 AIV 4 个 Warp Scheduler、128KB SIMT RegFile、最大 128KB DCache（复用 UB 作 cacheline，访存粒度 128B）
• UB bank 结构升级：每个 bank group 两组读写口，最多同时 2 读或 1 读 1 写（上代 1 读或 1 写）

5.4 同步机制

• 新增 BufferID 同步（get_buf()/rel_buf()，类互斥锁语义），比 set_flag/wait_flag 内聚性更强
• 核内同步：SetFlag/WaitFlag + EventID（需成对、及时释放、勿手动占用预留 ID）
• 核间同步：CrossCoreSetFlag/CrossCoreWaitFlag，支持 AIC:AIV 1:1 与 1:2 模式，flagId 0~10、同一 ID 最多计 15 次
• 注意：Matmul 高阶 API 内部已使用 CrossCore 核间同步，不要与其混用，避免 flagId 冲突

6. 周边子系统（简版）

• L2 Cache 128MB：多 Bank 分布式、512B 低位交织（高位异或）、512B Cache Line + 128B Sector Cache（128B/256B 访问更高效）、每 Bank 支持同时读写；支持算子可控 L2 hint（allocate / non-allocate）与 CMO（Prefetch/Writeback/Invalid/Flush）；离散小包、随机访存场景同带宽下性能较上代提升 2 倍+
• STARS 2.0：2048 条任务流 Host 下沉；HSCB 专用高速控制总线，调度开销 ns 级；支持最多 8 个 Group 的亲和性调度（按 Die 分组利用 L2 局部性）；算力切分（AIC/AIV/SDMA 最多 16 资源池）
• AI CPU：4 Cluster × 2 Linx816（ARMv8-A，物理双线程），承载控制类任务与 CPU 类算子
• 互联：灵衢 UB 2.0，2016GB/s 双向；URMA 异步语义（Jetty 队列，RTP/CTP 两种传输层）+ UB Memory 同步语义（Load/Store/Atomic，最高 128TB 内存共享）；CCU 集合通信硬件卸载（Broadcast/ReduceScatter/AllGather/AllReduce/All2All(v)）；超节点规模 384 卡 → 8192 卡，集群 >128K 卡

7. 对 Matmul 算子开发的启示

1. 数据通路约束：GM→L0A/L0B 无直达通路，一切矩阵数据经 L1。L0C 256KB 恰好放下 256×256 FP32 累加块（单份），即 baseM = baseN 的理论上限约 256。
2. Tiling 目标 = Cube Bound：以官方建模公式判断瓶颈流水，T_total = max(T_MMAD, T_MTE2, T_MTE1, T_FIXPIPE [, T_VF])：
   • 避免 MTE1 Bound：baseM = baseN ≥ 80（16 的倍数）即可使 MTE1 耗时低于 MMAD；
   • 避免 MTE2 Bound：baseM = baseN = 256 时达成 Cube Bound 需 MTE2 带宽 ≥ 2.64TB/s——超过 HBM 的 1.6TB/s，必须靠 L2 命中补足：L2 命中率达到约 28.9% 时 MTE2 不再是主瓶颈；
   • 数据量超 L2 容量时使能 L2 Cache 切分（Matmul 高阶 API 已支持）。
3. AIC:AIV = 1:2：优先使用 AscendC Matmul 高阶 API（已处理 Cube/Vector 流水编排与核间同步）；手写底层 matmul 注意 CrossCore flagId 冲突。
4. 优先利用 CV 融合通路：matmul 后接量化/激活/Softmax 时走 L0C→UB / Fixpipe 随路处理，避免 GM 往返——在带宽紧张的 950PR 上收益比 950DT 更大。
5. 低精度是算力大头：1784 TFLOPS 峰值只有 MXFP4 能达到，FP8 系为 BF16 的 2 倍。推理 matmul 优先考虑 MXFP8/HiF8（权重 weightNz 格式）+ Fixpipe 随路反量化；CANN 9.0.0 起 950PR 新增 MM 融合算子与 mxfp8 weightNz 支持。
6. 精打细算 GM 带宽：权重驻留 L2（hint）、一次性输出设 non-allocate（避免挤占 L2 并减少淘汰写回的 GM 写流量）；读写共享 1.6TB/s 总带宽，C 矩阵搬出与 A/B 搬入存在竞争。
7. 参考实现：昇腾NPU知识库/代码仓/catlass（华为开源矩阵计算模板库，类 CUTLASS）、代码仓/ops-math、代码仓/ops-blas（gemm）、代码仓/cann-samples/Samples/2_Performance/matmul_story（含普通/量化/MXFP8/MXFP4 matmul 的完整性能建模与调优案例）。

8. 关键数值速查

参数	数值
AIC / AIV 数量	32 / 64（满配），28 / 56（衍生）
主频	1.65GHz
Cube 算力 BF16	432 TFLOPS（单 AIC 13.5）
Cube 算力 FP8 / MXFP4	865 / 1730 TFLOPS
GM 容量 / 带宽	128GB / 1.6TB/s（总带宽，读写共享）
L2 容量 / 带宽	128MB / 5.2TB/s
L1 / L0A / L0B / L0C / UB	512KB / 64KB / 64KB / 256KB（每 AIC）；512KB（每 AIV）
MTE1 / MTE3 带宽	256 BPC ≈ 422.4GB/s（单 AIC）
Cube Bound 最小 MTE2 带宽（baseM=baseN=256）	2.64TB/s（L2 命中率 ≥28.9% 可达成）
互联带宽	UB 2.0 2016GB/s 双向；PCIe 5.0 x16 128GB/s