diff --git a/BMM算子优化分析_Release/BMM算子优化分析_v0.91.md b/BMM算子优化分析_Release/BMM算子优化分析_v0.91.md index 5c09433..656fe12 100644 --- a/BMM算子优化分析_Release/BMM算子优化分析_v0.91.md +++ b/BMM算子优化分析_Release/BMM算子优化分析_v0.91.md @@ -155,35 +155,31 @@ $$ | $T_{load}$ | 每 K 分块搬移时延 | $k_{L1}(M{+}N)\cdot\text{dtype}/BW_{pc}$ | | $T_{comp}$ | 每 K 分块计算时延 | $2MN \cdot k_{L1}/Q_{16}$ | | $T_{write}$ | 单 batch 输出写回时延 | $MN \cdot outB/W_{GM}$ | - | $T_{bd}$ | batch 边界固定开销 | fixpipe 同步 + L1 状态切换 + 流水线冲刷 | + | $T_{bd}$ | batch 边界固定开销 | fixpipe 启动握手(详见下文物理成因) | | $BW_{pc}$ | 单核 GM 带宽份额 | $W_{GM}/C$ | - *一阶流水模型*(unitflag 交叠 batch 间 drain/startup): + *端到端时延模型*:对每核执行过程建模。稳态流水(unitflag 交叠 batch 间 drain/startup)加上 batch 边界固定开销 $T_{bd}$(每边界一次): - $$T_{iter} = b_{core} \cdot n_K \cdot \max(T_{load},\, T_{comp}) + T_{comp} + T_{write}$$ + $$T_{iter} = \underbrace{b_{core} \cdot n_K \cdot \max(T_{load},\, T_{comp})}_{\text{稳态流水}} + \underbrace{T_{comp} + T_{write}}_{\text{末 batch drain}} + \underbrace{b_{core} \cdot T_{bd}}_{\text{边界开销}}$$ - MergeBatch 合并后 $k_{L1}^m = \min(K,\; k_{L1}/b_0)$——L1 绑定($k_{L1} b_0 T_{comp}$),此时: + 条件 5 保证合并后仍访存 Bound($T_{load} > b_0 T_{comp}$),两式相减: - $$T_{mb} - T_{iter} = (b_0-1)(T_{comp} + T_{write}) > 0$$ + $$\Delta = T_{mb} - T_{iter} = \underbrace{(b_0-1)(T_{comp} + T_{write})}_{\text{drain 惩罚}} - \underbrace{b_{core}\Big(1-\frac{1}{b_0}\Big) T_{bd}}_{\text{边界节省}}$$ - **一阶模型下 MergeBatch 始终不优于 IterBatch**——稳态吞吐相同(总搬移量、每块大小、总块数都相同),MergeBatch 的 drain 暴露是 IterBatch 的 $b_0$ 倍。 - - *二阶修正——batch 边界固定开销*:每 batch 边界有固定开销 $T_{bd}$,MergeBatch 边界数少 $b_0$ 倍: - - $$T_{iter} = \text{一阶} + b_{core} \cdot T_{bd},\qquad T_{mb} = \text{一阶} + \frac{b_{core}}{b_0} \cdot T_{bd}$$ - - **分界条件**(MergeBatch 优于 IterBatch 当且仅当 $\Delta = T_{mb} - T_{iter} < 0$): + **分界条件**(MergeBatch 优于 IterBatch 当且仅当 $\Delta < 0$): $$b_{core} > \frac{b_0 \cdot \text{penalty}}{T_{bd}},\qquad \text{penalty} = \begin{cases} (b_0-1)(T_{comp} + T_{write}) & \text{L1 绑定(}k_{L1} \lt K\text{)} \\ (b_0^2-1)T_{comp} + (b_0-1)T_{write} & \text{K 截断(}k_{L1} = K\text{)} \end{cases}$$ - K 截断时 MergeBatch 的 $k_{L1}$ 不减半 → 每分块计算量 $b_0^2$ 倍(而非 $b_0$ 倍)→ drain 惩罚更大。小 MN 时 $T_{comp}$ 小 → penalty 小 → MergeBatch 更容易赢;大 B 时 $b_{core}$ 大 → 边界节省多 → MergeBatch 更容易赢。 + penalty 两种情形的含义:drain 暴露 = 末(合并)batch 最后一个 K 分块的计算时延 + 输出写回时延——这部分没有下一块搬移可交叠,是流水线的 drain 尾部。 + - **L1 绑定**($k_{L1} < K$):L1 容量限制了 K 分块粒度,MergeBatch 合并后 tile 更大 → $k_{L1}$ 减半 → 每分块计算量 $b_0$ 倍 → drain 惩罚 $= (b_0-1)(T_{comp}+T_{write})$; + - **K 截断**($k_{L1} = K$):整个 K 装入 L1 一块,MergeBatch 合并后 $k_{L1}$ 不减半(仍等于 K)→ 每分块计算量 $b_0^2$ 倍($b_0^2 MN$ 输出 $\times$ $K$ 深度)→ drain 惩罚 $= (b_0^2-1)T_{comp} + (b_0-1)T_{write}$,更严格。 - 条件 1($b_{core} \ge 2b_0$)是该分界在典型 $T_{bd}$ 下的保守近似。精确边界依赖 $T_{bd}$ 实测标定。 + 小 MN 时 $T_{comp}$ 小 → penalty 小 → MergeBatch 更容易赢;大 B 时 $b_{core}$ 大 → 边界节省多 → MergeBatch 更容易赢。条件 1($b_{core} \ge 2b_0$)是该分界在典型 $T_{bd}$ 下的保守近似,精确边界依赖 $T_{bd}$ 实测标定。 **$T_{bd}$ 的物理成因**(batch 边界处硬件必须完成的固定动作): @@ -210,10 +206,11 @@ $$ | 证据 | 文件 | 内容 | |---|---|---| | MMAD→Fixpipe 同步开销存在 | `CANN社区版9.2.0-beta.1/02_API参考/AscendC_API/180_..._UnitFlag.md` | "未开启UnitFlag功能时,MMAD和FIXPIPE是指令级别的同步……流水串行";实测 7.3% 改善(M=128,N=30720,K=64) | - | 同步指令是高开销指令 | `CANN社区版9.2.0-beta.1/01_AscendC算子开发/260_..._SIMT算子性能优化.md` | "除法、取模、**同步**、原子操作等都属于**高开销指令**" | | 编译器默认插入同步指令 | `CANN社区版9.2.0-beta.1/01_AscendC算子开发/048_..._算子编译基本用法.md` | "默认会插入内存同步指令……这些同步指令**会带来性能开销**" | | 同步机制是架构级关注点 | `00_硬件/昇腾950_NPU架构白皮书.pdf` §4.1.6 | 新增 BufferID 同步机制替代 set_flag/wait_flag——"降低了同步的复杂度" | + 注:非融合场景下 IterBatch/MergeBatch 仅使用 AIC(Cube),AIV 不参与(`kernel_matmul_iterbatch.h` line 295-297:`if (!enableFusion) { if ASCEND_IS_AIV { return; } }`),故不引用 AIV 侧同步文献。 + $T_{bd}$ ≈ fixpipe 启动握手延迟(寄存器写入 + DMA 启动),量级估计为数十 ns。知识库未给出精确数值,需实测标定。 这些开销**与 batch 的计算量无关**,是每次 batch 切换的固定成本。大 batch 时被大量计算分摊,占比可忽略;小 batch 时每个 batch 绝对时延短,边界开销占比显著。MergeBatch 把 $b_0$ 个 batch 并为一次大矩阵计算,边界数降 $b_0$ 倍——**这是 MergeBatch 的结构性收益来源**。