v0.91: 补T_bd证据(源码Set/Wait+知识库文献引用)

This commit is contained in:
2026-08-25 06:45:45 +00:00
parent 88ae1a84cb
commit 5ddd8519f3

View File

@@ -187,10 +187,35 @@ $$
**$T_{bd}$ 的物理成因**batch 边界处硬件必须完成的固定动作):
1. **Fixpipe 重配置**:每 batch 输出写往 GM 不同地址区域fixpipe 需重配目标地址、步长等寄存器——每次排空的固定设置开销;
2. **L0C 缓冲区切换握手**L0C 双缓冲——Cube 往一半写、fixpipe 从另一半读。batch 边界处 Cube 须等 fixpipe 的 unitflag 确认已开始读当前半区,才能往另一半写新 batch 的部分和——同步握手有固定延迟;
从 IterBatch 的 kernel 侧源码(`cmct/block/block_mmad_iterbatch.h`)可直接观察到 batch 边界的 Set/Wait 同步序列:
```cpp
// 当前 batch 最后一个 K 分块结束后:
SetFlag<M_FIX>(l0cEventID_ & 0x1); // Cube → fixpipe: "L0C 可以排空"
WaitFlag<M_FIX>(l0cEventID_ & 0x1); // 等 fixpipe 确认开始 ← 串行握手,不可掩盖
CopyOut(cTensor, c1Local_[...]); // fixpipe 排空 L0C
SetFlag<FIX_M>(l0cEventID_ & 0x1); // fixpipe → Cube: "L0C 已空"
// 下一 batch 第一个 K 分块:
WaitFlag<FIX_M>(l0CEventID_ & 0x1); // 等 L0C 可用(被 L0C 双缓冲掩盖)
```
$T_{bd}$ 由三个部分组成:
1. **Fixpipe 启动握手**`WaitFlag<M_FIX>`fixpipe 从收信号到启动排空的延迟——地址/步长寄存器重配置(每 batch 输出写往 GM 不同区域)。**串行、不可掩盖**,是 $T_{bd}$ 的主要成分;
2. **L0C 缓冲区切换**`WaitFlag<FIX_M>`L0C 双缓冲——Cube 写一半、fixpipe 读另一半。被双缓冲掩盖,不贡献 $T_{bd}$
3. **Cube 流水线重建**systolic array 在新 batch 首个 K 分块时需重新填充——fill 开销与 tile 尺寸无关,是固定成本。
**证据来源**
| 证据 | 文件 | 内容 |
|---|---|---|
| MMAD→Fixpipe 同步开销存在 | `CANN社区版9.2.0-beta.1/02_API参考/AscendC_API/180_..._UnitFlag.md` | "未开启UnitFlag功能时MMAD和FIXPIPE是指令级别的同步……流水串行";实测 7.3% 改善M=128,N=30720,K=64 |
| 同步指令是高开销指令 | `CANN社区版9.2.0-beta.1/01_AscendC算子开发/260_..._SIMT算子性能优化.md` | "除法、取模、**同步**、原子操作等都属于**高开销指令**" |
| 编译器默认插入同步指令 | `CANN社区版9.2.0-beta.1/01_AscendC算子开发/048_..._算子编译基本用法.md` | "默认会插入内存同步指令……这些同步指令**会带来性能开销**" |
| 同步机制是架构级关注点 | `00_硬件/昇腾950_NPU架构白皮书.pdf` §4.1.6 | 新增 BufferID 同步机制替代 set_flag/wait_flag——"降低了同步的复杂度" |
$T_{bd}$ ≈ fixpipe 启动握手延迟(寄存器写入 + DMA 启动),量级估计为数十 ns。知识库未给出精确数值需实测标定。
这些开销**与 batch 的计算量无关**,是每次 batch 切换的固定成本。大 batch 时被大量计算分摊,占比可忽略;小 batch 时每个 batch 绝对时延短边界开销占比显著。MergeBatch 把 $b_0$ 个 batch 并为一次大矩阵计算,边界数降 $b_0$ 倍——**这是 MergeBatch 的结构性收益来源**。
**MergeBatch vs IterBatch 优势总结**