v0.6 修订：窗内不蛇形的原理说明 + L2切分与写出策略分场景分析

BMM算子优化分析_Release/BMM算子优化分析_v0.6.html

@@ -301,13 +301,36 @@ $$</div>
  μ2    2   6  10 …  30          μ6   62   58  …  34
  μ3    3   7  11 …  31          μ7   63   59  …  35</code></pre>
 <p>块 31 = (μ3, ν7)，块 32 = (μ4, ν7)——相邻两个块共用同一条 B 列带（ν7），窗口切换几乎零增量。对比朴素行优先（Ñ=16 时）：一波横跨 2 个 A 行块 + 16 条 B 列带，足迹 (2·M^t + 16·N^t)·K·dtype；滑窗为 (4·M^t + 8·N^t)·K·dtype——M^t≈N^t 时足迹缩小 1/3。</p>
+<p><b>窗内为什么不蛇形</b>（对上例中"块 3=(μ3,ν0) → 块 4=(μ0,ν1) 而非 (μ3,ν1)"的说明）：蛇形的收益来自"相邻遍历段共享边界数据"，要分两种边界看：</p>
+<ul class="tight">
+<li><b>窗内列间边界</b>（ν0→ν1）：相邻两段共享的是同一组 A 行块（W 个），它们在整个窗口期间<b>全程驻留 L2</b>，无论按什么顺序扫，工作集不变——窗内蛇形零收益；</li>
+<li><b>窗口行边界</b>（窗口0→窗口1）：A 行整体换血（μ0..3 → μ4..7），此时 B 列带的连续性决定换血成本——不蛇形则下一窗口从 ν0 开始（LRU 上最久未用、早已被挤出 L2 的冷带），蛇形则延续上一窗口末尾的 ν7（最热线带）。<b>蛇形只标在窗口行号上</b>（源码 <code>BatchMatMulAswBlock::UpdateBasicIndex</code>：仅 <code>rowIdx</code> 为奇时 n 反向，窗内 m 最快序不反向），正是这个收益结构的直接实现。</li>
+</ul>
 <p><b>3、L2 切分（工作集超 L2 时）</b></p>
-<p><b>问题</b>：滑窗压缩的是"同一波"的足迹；若整个工作集（全部 A 行 + 全部 B 列，跨所有窗口）超过 128MB L2，跨波次的复用仍会落空——上一波窗口的 A 行早被挤出 L2，下一波又得回 GM 读。</p>
-<p><b>做法</b>：把 M×N 平面按 mL2TileNum × nL2TileNum 切成若干"L2 块"，每块的工作集控制在 L2 容量内，逐块计算——块内滑窗复用充分，块间才发生一次性换入。块内分配用<b>错位分核</b>（对角线分配）：线性块号先取 m，n 方向再叠加一个随块号递增的相位偏移，使同一时刻各核落在 M×N 平面的不同对角线上——避免多核同一拍并发读同一行 A / 同一列 B 的同一地址（同地址并发读会串行化，等效带宽打折）。冲突度量取</p>
+<p><b>问题</b>：滑窗压缩的只是"同一波"的足迹；若整个工作集超 128MB L2，跨波次复用落空——上一波窗口的 A 行早被挤出，下一波又得回 GM 读。且 L2 是<b>读写共用</b>的：输出经 fixpipe 写出时若驻留 L2（dirty），会压缩读入可用空间；若直写 GM，则占用与读共享的 1.6TB/s 总线。所以 L2 切分必须与写出策略联合决策。记输入总量 $S_{in} = B(MK+KN)\cdot\text{dtype}$，输出总量 $S_{out} = B \cdot MN \cdot outB$。</p>
+<p><b>两个不变量</b>（一切分析的起点）：</p>
+<ul class="tight">
+<li>GM 流量下界 $= S_{in} + S_{out}$：输入至少读一遍、输出最终至少要写一遍到 GM，与 L2 策略无关；</li>
+<li>L2 读入可用空间：$L2_{read} = L2 - S_{out}^{resident}$（$S_{out}^{resident}$ 为驻留 L2 的输出量）——写出驻留 L2 会压缩读入空间，这是写出策略影响读入复用的通道。</li>
+</ul>
+<p><b>先判定写出会不会 Bound</b>。平均写出带宽需求：</p>
 <div class="math">$$
-transConflict = \max\big(\lceil C / mCnt \rceil,\; \lceil C / nCnt \rceil\big)
+BW_{out} = \frac{S_{out}}{T_{MMAD}} = \frac{B \cdot MN \cdot outB}{2BMNK\,/\,(C \cdot Q_{16})} = \frac{C \cdot Q_{16} \cdot outB}{2K}
 $$</div>
-<p>即同一时刻并发核访问同一 A/B 块的最大冲突数，要求不超过阈值（经验值 6）；切分方案中优先选尾波不满载占比小（拖尾 &lt; 一半）的。遍历大方向由 calOrder 决定（0=M 优先、1=N 优先），按形状选共享矩阵更能驻留 L2 的方向。</p>
+<p>只与 K、outB 有关（K 越小，单位时间输出越密）。例（BF16 输出，C·Q₁₆=432 TFLOPS）：K=512 → 844 GB/s；K=256 → 1.69 TB/s，已超 GM 总线——此时<b>任何策略都写出 Bound</b>，L2 缓冲只能削峰（fixpipe 以 5.2TB/s 写 L2 吸收突发），平均速率仍受总线限制，应预期 Fixpipe 成为 $T_{total}$ 的 max 项。</p>
+<p><b>分场景决策</b>：</p>
+<p>**场景 A：$S_{in} + S_{out} \le L2$（全驻留）**。输入读一遍（$r_{in}=1$），输出驻留 L2（dirty）异步回写 GM——写出走 5.2TB/s L2 写口，不与读争，也削平了 GM 写突发。无需切分。</p>
+<p>**场景 B：$S_{in} \le L2$ 但 $S_{in} + S_{out} > L2$（输入能驻留，加上输出超了）<b>。</b>输入驻留、输出直写 GM**（fixpipe L0C→GM，不占 L2），保住 $r_{in}=1$；校验总线：$(S_{in} + S_{out})/T_{MMAD} \le W_{GM}$。例：B=8、M=N=4096、K=512、BF16——$S_{in}$=64MB ≤ L2，$S_{out}$=256MB 直写 GM；T_MMAD≈318µs，总流量速率 (64+256)MB/318µs ≈ 1.06TB/s &lt; 1.6TB/s ✓。</p>
+<p>**场景 C：$S_{in} > L2$（输入本身超）**。必须 L2 切分。输出直写 GM 以最大化 $L2_{read}$，切分数满足</p>
+<div class="math">$$
+mL2TileNum \times nL2TileNum \;\ge\; \frac{S_{in}}{L2_{read}}
+$$</div>
+<p>每块输入工作集 ≤ $L2_{read}$，逐块计算——块内滑窗复用充分，块间只发生一次性换入。块内分配用<b>错位分核</b>（对角线分配）：线性块号先取 m，n 方向叠加随块号递增的相位偏移，使同一时刻各核落在 M×N 平面的不同对角线上——避免多核同一拍并发读同一行 A / 同一列 B 的同一地址（同地址并发读会串行化，等效带宽打折）。冲突度量与优选规则：</p>
+<div class="math">$$
+transConflict = \max\big(\lceil C / mCnt \rceil,\; \lceil C / nCnt \rceil\big) \le 6
+$$</div>
+<p>即同一时刻并发核访问同一 A/B 块的最大冲突数不超过阈值（经验值 6）；切分方案中优先选尾波不满载占比小（拖尾 &lt; 一半）的。遍历大方向由 calOrder 决定（0=M 优先、1=N 优先），按形状选共享矩阵更能驻留 L2 的方向。例：B=64、M=N=2048、K=1024、BF16——$S_{in}$=512MB &gt; L2，输出直写（$L2_{read}$=128MB），切 3×2=6 块（每块输入约 89MB ≤ 128MB）；总流量 1GB，T_MMAD≈1.27ms，速率 844GB/s &lt; 1.6TB/s ✓。</p>
+<p>补充：若输出会被后续算子立即消费（融合场景），输出驻留 L2 让下游读命中，场景 B/C 的策略反过来；本文按单算子边界分析。</p>
 <p><b>4、核内 tiling</b>：$M^t N^t \cdot 4\text{B} \cdot DB \le L0C$；$M^t K^t \cdot \text{dtype} \cdot 2 \le L0A$、$K^t N^t \cdot \text{dtype} \cdot 2 \le L0B$；内轴按 dValue 256B/512B 对齐；L1 按容量开双缓冲，余量充足开 4 buffer。</p>
 <p><b>5、内部特化（参数极限，不是独立分支）</b>：单边无 batch 且该侧矩阵小（$M \le 256$、$MK\cdot\text{dtype}\cdot 2 \le L1$、对侧每核循环 ≥4 轮）时小侧整个常驻 L1、只搬一次（L1 全载）。</p>
 <p><b>6、降核模式实现</b>：tiling 时 <code>usedCoreNum = ⌈P⌉</code>（不强制 C），基本块在 L0C 容量内取最大（$M^t N^t \cdot 4\text{B} \le L0C$），每核按标准核内流水（L1→L0→Cube→L0C→Fixpipe）处理自己的输出块；核间无共享无依赖，无需 swizzle 与 L2 切分。降核后 GM 并发搬移核数若 &lt; minCoreNum，带宽利用率上限被压低——这正是降核区 case 时延的瓶颈所在，也是"时延绝对值小、不再继续优化"的定量注脚。</p>