From 1dba7c94e1d4359d0c87f18c09e0b2f011e73bde Mon Sep 17 00:00:00 2001 From: admin Date: Mon, 24 Aug 2026 00:20:52 +0000 Subject: [PATCH] =?UTF-8?q?v0.8:=20=E7=AC=A6=E5=8F=B7=E8=A1=A8=E8=A1=A5Q16?= =?UTF-8?q?/Q=5FAIV/W=5FL2=EF=BC=8C=CE=B8=5Fc=E9=80=90=E6=AD=A5=E8=AE=A1?= =?UTF-8?q?=E7=AE=97=EF=BC=8C8192=3DdValue=E6=8E=A8=E8=8D=90=E5=80=BC?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../BMM算子优化分析_v0.8.md | 31 ++++++++++++++----- 1 file changed, 24 insertions(+), 7 deletions(-) diff --git a/BMM算子优化分析_Release/BMM算子优化分析_v0.8.md b/BMM算子优化分析_Release/BMM算子优化分析_v0.8.md index 821bd5c..733f3c3 100644 --- a/BMM算子优化分析_Release/BMM算子优化分析_v0.8.md +++ b/BMM算子优化分析_Release/BMM算子优化分析_v0.8.md @@ -20,10 +20,13 @@ | 符号 | 含义 | 950PR 取值 | |---|---|---| | C | AIC 核数（aicNum） | 32 | +| Q₁₆ | 单核 Cube BF16 峰值算力 | 486/C ≈ 15.2 TFLOPS | +| Q_AIV | AIV 向量求和吞吐（64 核合计） | 64×128 fp32/拍×1.65GHz ≈ 13.5 Tops/s | | L1 | 每核 L1 Buffer | 512KB | | L0A / L0B | 每核 L0A / L0B | 64KB / 64KB | | L0C | 每核 L0C（FP32 累加，4B/元素） | 256KB | -| L2 | L2 Cache 容量 / 带宽 | 128MB / 5.2TB/s | +| L2 | L2 Cache 容量 | 128MB | +| W_L2 | L2 读写带宽 | 5.2TB/s | | W_GM | GM 带宽（读写共享） | 1.6TB/s | | R₁₆ | 16bit 对应位宽算存比 | ≈607.5 FLOP/元素 | | dValue | 单数据块内数据连续排布长度 | 推荐 256B/512B，不建议 <128B | @@ -264,25 +267,39 @@ $$T_{SK} = \frac{T_{pipe}}{grid_K} + T_{Reduce} < T_{pipe} \;\Longleftrightarrow StreamK case 的 M、N 小（P \dfrac{grid_K}{grid_K-1}\cdot T_{Reduce}$。 -$T_{Reduce}$ 的构成（每输出块，部分和驻留 L2、AIV 归约）： +$T_{Reduce}$ 的构成（每输出块，部分和驻留 L2、AIV 归约；符号定义见 §二）： $$ T_{Reduce} = \underbrace{\frac{grid_K \cdot MN \cdot 4\text{B}}{W_{L2}}}_{\text{AIC 写部分和}} + \underbrace{\frac{grid_K \cdot MN \cdot 4\text{B}}{W_{L2}}}_{\text{AIV 读回}} + \underbrace{\frac{grid_K \cdot MN}{Q_{AIV}}}_{\text{AIV 求和}} + \underbrace{\frac{MN \cdot outB}{W_{L2}}}_{\text{写回}} $$ -代入数值求 K 闭式阈值（以计算 Bound 为例，$T_{pipe}=T_{MMAD}=2MNK/Q_{16}$）： +求 K 闭式阈值（以计算 Bound 为例，$T_{pipe}=T_{MMAD}=2MNK/Q_{16}$；访存 Bound 时阈值更低）： $$ -K > \frac{grid_K^2}{grid_K-1}\cdot\underbrace{\frac{Q_{16}}{2}\Big(\frac{8\text{B}}{W_{L2}}+\frac{1}{Q_{AIV}}\Big)}_{\theta_c\,\approx\,11} + \frac{grid_K}{grid_K-1}\cdot\frac{Q_{16}\cdot outB}{2W_{L2}} +K > \frac{grid_K^2}{grid_K-1}\cdot\theta_c,\qquad +\theta_c = \frac{Q_{16}}{2}\Big(\frac{8\text{B}}{W_{L2}}+\frac{1}{Q_{AIV}}\Big) $$ -grid_K=2→K>49；4→K>62；8→K>102。访存 Bound 时阈值更低（θ_m ~ 0.04·MN/(M+N)，可忽略）。 +代入数值：$Q_{16}$ = 486/32 ≈ 15.2 TFLOPS，$W_{L2}$ = 5.2 TB/s，$Q_{AIV}$ ≈ 13.5 Tops/s： -注意 θ_c 对 workspace 落点敏感：部分和落 GM 时读写带宽从 5.2TB/s 降到 ~0.64TB/s，θ_c 升至约 87。设计时应优先保证 workspace 驻留 L2。 +$$ +\theta_c = \frac{15.2\times10^{12}}{2}\Big(\underbrace{\frac{8}{5.2\times10^{12}}}_{1.54\,\text{ps/元素}} + \underbrace{\frac{1}{13.5\times10^{12}}}_{0.07\,\text{ps/元素}}\Big) = 7.6\times10^{12} \times 1.61\times10^{-12} \approx 12 +$$ + +L2 读写（1.54 ps/元素）是主导项，AIV 求和（0.07）仅占 5%；多 tile 并行归约共享 L2/AIV 带宽的影响可忽略（P < C/2 块并行，归约总量 ~MB 级，vs 单块 T_pipe ~μs 级）。 + +grid_K=2→K>49；4→K>66；8→K>112。 + +注意 θ_c 对 workspace 落点敏感：部分和落 GM 时读写带宽从 5.2TB/s 降到 ~0.64TB/s，θ_c 升至约 97。设计时应优先保证 workspace 驻留 L2。 4. **工程约束**：归约顺序不定引入浮点非确定性，确定性等级 2/3 的业务禁用。 -**源码对照**：`batch_matmul_v3_basic_streamk_tiling.cpp` 中 K 的固定门槛为 `CeilAlign(K,256) ≥ max(8192, aicNum×256B/dtype)`。`aicNum×256B/dtype` 对应条件 2 的 dValue 推荐值。修正后的归约阈值（θ_c≈11）远低于 8192——说明 8192 的主要动机不是归约代价，而是摊薄固定开销（workspace 建立、归约同步、AIV 启动），是条件 2/3 的保守合并近似。 +**源码对照**：`batch_matmul_v3_basic_streamk_tiling.cpp` 中 K 的固定门槛为 `CeilAlign(K,256) ≥ max(8192, aicNum×256B/dtype)`。 + +* `aicNum×256B/dtype` = 32×128 = 4096（BF16）= **dValue 下限（256B）在最大 grid_K=C 下的保障**——对应条件 2； +* `8192` = 32×256 = C×512B（BF16）= **dValue 推荐值（512B）在最大 grid_K=C 下的保障**——同为条件 2，取推荐值而非下限。 + +max 取更严格的 8192。修正后的归约阈值（θ_c≈12，grid_K=32 时 K>396）远低于 8192，说明 **8192 的绑定约束是 dValue（条件 2），不是归约代价（条件 3）**。源码不动态计算 grid_K，用固定阈值同时覆盖条件 2 的最保守情形和条件 3，是两条条件的保守合并近似。 ### 实现方案