diff --git a/BMM算子优化分析_Release/BMM算子优化分析_v0.9.html b/BMM算子优化分析_Release/BMM算子优化分析_v0.9.html index 5aae0c7..1505bda 100644 --- a/BMM算子优化分析_Release/BMM算子优化分析_v0.9.html +++ b/BMM算子优化分析_Release/BMM算子优化分析_v0.9.html @@ -140,7 +140,15 @@ $$
**为何不允许 $b_{core}=2$**(合并后每核仅 1 个合并 batch):此时与 IterBatch($b_{core}=2$,形态 b/d)对比——MergeBatch 合并后 $k_{L1}$ 减半($L1/((2M{+}2N)\cdot\text{dtype})$ vs $L1/((M{+}N)\cdot\text{dtype})$),K 分块数翻倍;IterBatch 有 2 个 batch,每批 K 分块数不变。两者总 K 分块数相同、每块搬移量相同(均填满 L1),总搬移时延相同。访存 Bound 下(条件 5 保证),MergeBatch 的 2× 冗余计算在稳态流水中被搬移掩盖(第 $i$ 块计算与第 $i{+}1$ 块搬移交叠),总时延 ≈ IterBatch。但流水 drain 阶段(最后一个 K 分块无下一块搬移可交叠)计算暴露,MergeBatch 每分块计算量 = 2× IterBatch → drain 暴露也是 2×。K 分块数越少,暴露占比越大($\sim T_{comp}/(n \cdot T_{load})$);$b_{core} \ge 2b_0$ 确保合并后仍有 ≥2 个合并 batch 做 batch 级乒乓,且 $b_{core}$ 越大 MergeBatch 相对 IterBatch 的 dValue 优势越明显。
+MergeBatch vs IterBatch 一阶时延模型:设 $n_K = K/k_{L1}$(K 分块数),每分块搬移 $T_{load} = k_{L1}(M{+}N)\cdot\text{dtype}/BW_{pc}$,每分块计算 $T_{comp} = 2MN \cdot k_{L1}/Q_{16}$,输出写回 $T_{write} = MN \cdot outB/W_{GM}$。
+IterBatch($b_{core}$ 个 batch/核,unitflag 交叠 batch 间 drain/startup):
+MergeBatch(合并后 $k_{L1}$ 减半 → $n_K$ 翻倍,每分块搬移量不变,每分块计算量 ×b₀,合并 batch 数 = $b_{core}/b_0$):
+条件 5 保证合并后仍访存 Bound($T_{load} > b_0 \cdot T_{comp}$),此时:
+一阶模型下 MergeBatch 始终不优于 IterBatch——稳态吞吐相同(总搬移量、每块大小、总块数都相同),MergeBatch 的 drain 暴露是 IterBatch 的 $b_0$ 倍。数值验证(B=128, M=N=64, K=512):$T_{mb}/T_{iter} = 1.08$(MergeBatch 慢 8%,drain 占比 9.6% vs 2.6%)。
+条件 1 的定位:不能从条件 2~5 推导。一阶模型未捕捉的二阶效应(GM 空间局部性、Cube 流水线填充效率、Fixpipe 大块写出效率)是 MergeBatch 的实际收益来源;$b_{core} \ge 2b_0$ 是确保二阶收益超过一阶惩罚 $(b_0{-}1)(T_{comp}{+}T_{write})$ 的保守启发式。