From 46c5fd47b0d8149123a81d72b8004ada467c2aaf Mon Sep 17 00:00:00 2001 From: admin Date: Sat, 22 Aug 2026 09:27:29 +0000 Subject: [PATCH] =?UTF-8?q?v0.6=20=E4=BF=AE=E8=AE=A2=EF=BC=9A=E8=A1=A5=20M?= =?UTF-8?q?ergeBatch=20=E8=BE=B9=E7=95=8C=20case=E3=80=81=E9=99=8D?= =?UTF-8?q?=E6=A0=B8=E6=A8=A1=E5=BC=8F=E5=AE=9A=E4=B9=89=E4=B8=8E=E5=AE=9E?= =?UTF-8?q?=E7=8E=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../BMM算子优化分析_v0.6.html | 22 ++++++++++++------- 1 file changed, 14 insertions(+), 8 deletions(-) diff --git a/BMM算子优化分析_Release/BMM算子优化分析_v0.6.html b/BMM算子优化分析_Release/BMM算子优化分析_v0.6.html index d2d3051..cd6ca19 100644 --- a/BMM算子优化分析_Release/BMM算子优化分析_v0.6.html +++ b/BMM算子优化分析_Release/BMM算子优化分析_v0.6.html @@ -267,14 +267,16 @@ $$
  1. $P = \dfrac{B \cdot MN \cdot 4\text{B}}{L0C} \ge C$
  2. 无 batch 结构限制（BatchA=BatchB、交叉广播均可）；典型进入路径：$B < C$（切 B 买不满核），或 $B \ge C$ 但 IterBatch/MergeBatch 条件不满足时的兜底
    3. +
  3. 降核模式：$P < C$ 且不满足 StreamK 进入条件 → 只用 $\lceil P \rceil$ 个核，其余核闲置

逐条解释

  1. 并行度补齐：以 L0C 满载为基本块粒度，B×M×N 能切出至少 C 个独立输出块，则切 M/N（或混合切）并行度够用。切 M/N 的固有代价是共享矩阵被多核重复读，但共享部分驻留 128MB L2 时重复读以 5.2TB/s 命中 L2 而非 1.6TB/s 的 GM，代价大部分被吸收。
  2. 兜底性质：ASW_Basic 是实践中最常命中的分支——B 可大可小可等 1，交叉广播也由此承接（对广播侧做 L1/L2 驻留，共享关系与切 M/N 同构）。
    3. +
  3. 降核模式：P < C 且 K 也不够格走 StreamK 时，并行度凑不满核。此时与其强行把 M/N 切得更碎（tile 跌破 min_TileSize、dValue 跌破 128B，搬移效率崩塌，反而更慢），不如只用 ⌈P⌉ 个核、每核承担一个完整输出块（L0C 满载粒度），其余核闲置。这类 case 的时延绝对值小，继续切分引入的调度与搬移效率损失大于并行收益——降核是理性选择而非偷懒。

实现方案

-

1、核间切分维度选择（按共享代价从低到高）：切 B（零共享，先试）→ 切 M（右矩阵 $KN\cdot\text{dtype} \le L2$ 则驻留 L2）→ 切 N（对称）→ 混合切（靠 swizzle + L2 切分管理）→ 降核（P 远小于 C 且 StreamK 也不满足时，宁可部分核闲置）。

+

1、核间切分维度选择（按共享代价从低到高）：切 B（零共享，先试）→ 切 M（右矩阵 $KN\cdot\text{dtype} \le L2$ 则驻留 L2）→ 切 N（对称）→ 混合切（靠 swizzle + L2 切分管理）→ 降核（见第 6 条）。

2、swizzle：ASW 滑窗蛇形。M 向按窗口 W 分组，窗内 N 向蛇形遍历：

$$ W = \max\{\,d \mid d \mid C,\; d \le \lfloor\sqrt{C}\rfloor\,\} \quad (C{=}32 \Rightarrow W{=}4) @@ -283,6 +285,7 @@ $$

3、L2 切分：工作集超 128MB 时按 mL2TileNum×nL2TileNum 切块，块内错位分核（对角线分配），避免多核同时抢同一地址的读读冲突，优先选拖尾小的方案。

4、核内 tiling：$M^t N^t \cdot 4\text{B} \cdot DB \le L0C$；$M^t K^t \cdot \text{dtype} \cdot 2 \le L0A$、$K^t N^t \cdot \text{dtype} \cdot 2 \le L0B$；内轴按 dValue 256B/512B 对齐；L1 按容量开双缓冲，余量充足开 4 buffer。

5、内部特化（参数极限，不是独立分支）：单边无 batch 且该侧矩阵小（$M \le 256$、$MK\cdot\text{dtype}\cdot 2 \le L1$、对侧每核循环 ≥4 轮）时小侧整个常驻 L1、只搬一次（L1 全载）。

+

6、降核模式实现：tiling 时 usedCoreNum = ⌈P⌉（不强制 C），基本块在 L0C 容量内取最大（$M^t N^t \cdot 4\text{B} \le L0C$），每核按标准核内流水（L1→L0→Cube→L0C→Fixpipe）处理自己的输出块；核间无共享无依赖，无需 swizzle 与 L2 切分。降核后 GM 并发搬移核数若 < minCoreNum，带宽利用率上限被压低——这正是降核区 case 时延的瓶颈所在，也是"时延绝对值小、不再继续优化"的定量注脚。

九、特殊分支