diff --git a/Matmul/UnitFlag能否取代L0C_DoubleBuffer.html b/Matmul/UnitFlag能否取代L0C_DoubleBuffer.html index cde7af5..3033796 100644 --- a/Matmul/UnitFlag能否取代L0C_DoubleBuffer.html +++ b/Matmul/UnitFlag能否取代L0C_DoubleBuffer.html @@ -111,6 +111,56 @@ L0C.A(块n+2): [==== MMAD ====]···

最终判断:UnitFlag 在其合法域内可以取代 L0C DB(且更优),但因「模板/流水互斥/累加」三重硬约束,它无法覆盖全部场景;L0C DB 作为不依赖这些约束的块间掩盖手段,是 UnitFlag 失效场景下的必要补充,两者是主从互补关系,而非简单的"新替旧"。


+

3.4 对官方三条约束的逐条考据(答疑)

+

针对三条容易被误读的官方约束,逐一给出原文出处、准确含义、以及在 mat_mul_v3 / 950PR 上的实际适用性。

+

3.4.1 「UnitFlag + L0C 累加时,不支持多次 Iterate 计算、一次 GetTensorC 输出」——具体是什么约束?

+

官方原文出处(两处,措辞略异,商用版更完整):

+ + + + +

准确含义拆解:这条约束针对的是 「同一个 base 块,K 方向分多片,在 L0C 上驻留并多次累加,最后才一次性 GetTensorC 搬出」 的编程形态。即:

+
// 被禁止的形态:K 在 L0C 内分片累加,最后一次才搬出
+for (kSlice = 0; kSlice < kSliceNum; kSlice++) {   // 多次 Iterate
+    mm.Iterate();          // 每片 K 的部分结果累加进同一块 L0C(L0C 累加)
+}
+mm.GetTensorC(c);          // 只在最后一次性搬出(一次输出)
+

为什么 UnitFlag 与这种形态冲突:UnitFlag 的硬件机制是「MMAD 每产出 512B 成品,就立即触发 Fixpipe 把这段搬走」。但 L0C 累加形态下,前面若干次 Iterate 的结果是部分和,还必须留在 L0C 里等后续 K 片继续累加,不能被搬走。一旦开 UnitFlag,MMAD 算出 512B 就被 Fixpipe 立即搬出,L0C 里就保不住部分和、后续累加无从谈起——两者在"这 512B 到底是驻留还是立即搬走"上直接矛盾,故硬件/API 不允许叠加。

+

mat_mul_v3 是否踩这条约束?——不踩(常规路径)。看 mat_mul_asw_kernel.h:140-141

+
mm_.Iterate();
+mm_.GetTensorC(cGlobal_[...], enAtomic || kIndex != 0);   // 每次 Iterate 紧跟一次 GetTensorC
+

mat_mul_v3 的普通 ASWT 是 「一次 Iterate → 一次 GetTensorC」一一配对(即使在 splitKRound 循环里,也是 Iterate 与 GetTensorC 成对出现,用 enAtomic || kIndex!=0 在 GM 侧做原子加,而非在 L0C 里驻留累加)。它不是"多次 Iterate、一次 GetTensorC",因此常规路径不触碰这条约束,UnitFlag 可用。

+

真正会踩这条的场景:把 split-K 的核内部分和放在 L0C 里驻留累加(L0C 累加),或 intraBlockPartSum(两 AIV 结果在 L0C 累加)这类显式 L0C 累加特性。StreamK 之所以要绕道 workspace 由 AIV 累加、而不是在 L0C 里累加,正是为了避开这条。

+

3.4.2 一次 Iterate 最大支持的 K 是多少?

+

先澄清概念:官方约束里没有任何一条把 "一次 Iterate 的 K 上限" 与 UnitFlag 挂钩。UnitFlag 约束的不是 K 的大小,而是"累加形态"(见上一条)。一次 Iterate 能算多大的 K,由 L0C 之外的资源(L1/L0A/L0B 容量、stepKa/stepKb 流水深度、baseK) 决定,与 UnitFlag 无关:

+ +

结论没有"一次 Iterate 最大 K 受 UnitFlag 限制"这回事。一次 Iterate 的 K 上限由 L1/L0 容量与 stepK 流水决定(例如 950PR 上 maxStepK ≤ 8baseK ≈ 128B/dtype),UnitFlag 只管"算出的 512B 何时搬出",不管 K 多大。把这条约束理解成"K 不能超过某值"是误读——它限的是"累加跨几次 Iterate",不是"K 的绝对大小"。

+

3.4.3 「不允许同时存在 CO1(L0C)→GM 与 A1(L1)→GM 两种搬出流水」——是什么意思?L1 能直接写回 GM 吗?

+

官方原文出处:同上两篇《Matmul 高阶 API(使能/开启)UnitFlag》,约束条件第 2 条:

+ +

这条的字面意思:UnitFlag 开启时,同一个算子里不能同时出现两类搬出流水——一类是 L0C→GM(结果搬出,走 Fixpipe),另一类是 L1(A1)→GM(从 L1 直接把数据写回 GM)。即搬出通路的"源头"必须统一为 L0C,不能 L0C 和 L1 混着当搬出源。

+

「L1 能直接写回 GM 吗?」——分架构看,这正是关键点

+ +

小结:这条约束的语义是"搬出源必须唯一(只能是 L0C)",防止 UnitFlag 的细粒度同步在"两种不同源头的搬出"上产生时序混乱。在 950PR 上由于 L1→GM 通路已被硬件删除,这条约束自动成立,不会成为限制 mat_mul_v3 开 UnitFlag 的因素。

+

3.4.4 三条约束在 mat_mul_v3 / 950PR 上的实际生效性汇总

+ + + + + +
官方约束准确含义950PR 上是否实质限制 mat_mul_v3
仅 Norm/IBShare/MDL 模板UnitFlag 只在三个高阶模板下有效mat_mul_v3 用 MDL(GetMDLConfig)→ 满足
不能同时有 CO1→GM 与 A1→GM 两种搬出搬出源必须唯一为 L0C351x 已删 L1→GM 通路 → 自动满足,无实质限制
L0C 累加时不支持多次 Iterate 一次输出禁止跨 Iterate 的 L0C 驻留累加 + 末次才搬出mat_mul_v3 常规路径是 Iterate/GetTensorC 一一配对 → 不触碰,UnitFlag 可用;仅显式 L0C 累加(核内 split-K 驻留 / intraBlockPartSum)才触碰
MTE2 Bound 已掩盖时收益小Fixpipe 已被搬运流水掩盖时无需再开这是收益问题不是正确性问题,不影响可用性
+

由此可得更精确的判断:mat_mul_v3 在 950PR 上常规路径(含普通 ASWT、A/B 全载、以及把 K 分片放到 GM workspace 由 AIV 累加的 StreamK)都满足 UnitFlag 的可用条件且默认已开启;真正被 UnitFlag 排除的是"在 L0C 里做跨 Iterate 驻留累加"这一类形态——而这种形态在 mat_mul_v3 里被刻意用"GM 原子加 / workspace + AIV 累加"规避了。这进一步支撑了 §3.3 的结论:在 950PR 上 UnitFlag 的合法域覆盖了 mat_mul_v3 的全部主路径,L0C DB 的补位空间被压缩得很小

+

4. 对本项目性能建模与最优方案的直接推论

  1. 建模时 Fixpipe 项要分两种掩盖:在性能模型 T_total = max(T_MMAD, T_MTE2, T_MTE1, T_FIXPIPE) 中,T_FIXPIPE 的实际暴露量应写成
  2. @@ -121,16 +171,20 @@ L0C.A(块n+2): [==== MMAD ====]···
    1. 最优 tiling 的取舍被简化:既然 UnitFlag 默认开,baseM/baseN 的搜索不必再为"能否开 L0C DB"让步,可以更激进地逼近 256×256(重复读最少)。原先"为开 DB 而把 baseN 砍半"的权衡在 UnitFlag 合法域内不成立。这是对 §3.2 GetRebalanceBlock 的一处实质修正点。
    2. -
    3. StreamK 的 K 分片场景要单独建模:StreamK/大 K 分片累加命中 UnitFlag 的"多次 Iterate 一次输出"约束,其 Fixpipe 掩盖机制与普通 ASWT 不同,性能模型需为这类 case 单列。
    4. +
    5. 真正需要单独建模的 K 累加形态:需要警惕的不是 mat_mul_v3 的主路径,而是"在 L0C 里做跨 Iterate 驻留累加"这一类形态(核内 split-K 驻留 / intraBlockPartSum 等)。这类形态被 UnitFlag 约束排除,只能靠 L0C DB 做块间掩盖。mat_mul_v3 的 StreamK 用 workspace + AIV 累加规避了它,因此主路径不受影响;但若未来引入 L0C 驻留累加的新模板,性能模型需为其单列 Fixpipe 掩盖方式(回到 DB 主导)。

    附录:关键证据索引

    + + + + - +
    证据位置
    UnitFlag 三条约束官方原文(在线)昇腾社区官网 → CANN → 算子实践参考 → 优秀实践 → Matmul 性能调优案例 → 《Matmul 高阶 API 开启 UnitFlag》(社区版)/ 《Matmul 高阶 API 使能 UnitFlag》(商用版)。社区版直达链接:见任务输入所给 UnitFlag.md 页面
    UnitFlag 三条约束官方原文(本地)昇腾NPU知识库/CANN社区版9.2.0-beta.1/01_AscendC算子开发/292_..._开启UnitFlag.md(第19/21行)、昇腾NPU知识库/CANN商用版9.0.0/01_AscendC算子开发/203_..._使能UnitFlag.md(第21/23行,表述最完整)
    GetMDLConfig 签名(第7参=enUnitFlag)昇腾NPU知识库/CANN商用版9.0.0/02_API参考/AscendC_API/631_..._GetMDLConfig.md
    enUnitFlag 默认值与约束昇腾NPU知识库/CANN商用版9.0.0/02_API参考/AscendC_API/626_..._MatmulConfig.md
    UnitFlag 512B 细粒度同步定义昇腾NPU知识库/CANN社区版9.2.0-beta.1/01_AscendC算子开发/292_..._开启UnitFlag.md
    351x 删除 L1→GM / GM→L0 直达通路昇腾NPU知识库/00_硬件/昇腾950_NPU架构白皮书.txt(CV融合/数据通路章节);同仓 昇腾950PR/昇腾950PR架构解读.md §5.1
    MM_CFG_NO_PRELOAD 显式开 enUnitFlagops-nn/matmul/mat_mul_v3/op_kernel/mat_mul_v3_common.h:72
    普通 ASWT Iterate/GetTensorC 一一配对ops-nn/matmul/mat_mul_v3/op_kernel/arch35/mat_mul_asw_kernel.h:140-141
    StreamK 回调显式 unitFlag=3ops-nn/matmul/mat_mul_v3/op_kernel/arch35/mat_mul_stream_k_kernel.h:36-37
    StreamK K 分片累加(L0C→workspace→AIV)ops-nn/matmul/mat_mul_v3/op_kernel/arch35/mat_mul_stream_k_block.hmat_mul_stream_k_kernel.h:188-202
    StreamK K 分片走 workspace + AIV 累加ops-nn/matmul/mat_mul_v3/op_kernel/arch35/mat_mul_stream_k_kernel.h:188-259mat_mul_stream_k_block.h
    dbL0C 判据 baseM·baseN≤32768ops-nn/matmul/mat_mul_v3/op_host/op_tiling/arch35/matmul_v3_tiling_helper.cpp:490
    \ No newline at end of file