# IterBatch 分支理论

> 整理自《BMM算子优化分析 v0.98》§六 + 《MergeBatch_vs_IterBatch分析 v1.1》§二.
> 对应软件实现: `bmm_theory/branches/iter_batch.py`.

## 1. 一句话本质

核间切 B（每核 b_core ≥ 1 个 batch），核内**逐个 batch 做标准 Matmul 分块计算**——无算力浪费、无跨 batch 依赖，是"切 B"最朴素的形态。

## 2. 进入条件（4 条同时满足）

| # | 条件 | 说明 |
|---|---|---|
| 1 | BatchA = BatchB 且 b_core ≥ 1 | 无广播；每核至少 1 个 batch |
| 2 | B mod C = 0 或 B mod C ≥ minCoreNum (≈26) | 负载均衡：不整除时尾波活跃核数须够，保证尾波仍有足够核并发搬移 |
| 3 | L1 驻留形态四选一 | **核心要求：单 batch 计算核内零重复读** |
| 4 | 切分后搬移分块 ≥ 16KB 且 dValue ≥ 128B | 守住搬移效率下限 |

## 3. L1 驻留四形态

| 形态 | 条件 | 特征 |
|---|---|---|
| **a) 单 batch 全驻留** | b_core=1，(MK+KN)·dt ≤ L1 | 零重复读 |
| **b) 双 batch 乒乓** | b_core>1，2(MK+KN)·dt ≤ L1 | batch 间流水掩盖（命中最多，70%） |
| **c) 一侧驻留 + 对侧切 K** | 驻留侧 ≤ L1_budget，L1_budget = L1/min(b_core,2) | 驻留侧零重复读；b_core≥2 时另一半 L1 预取下一 batch 驻留侧，边界无气泡 |
| **d) 两侧都切 K** | 兜底 | 两侧 K 段级重复读；K 段成对流水，batch 边界天然无缝 |

**为什么直接进入条件而不是算存比**：即使 case 是计算 Bound，重复读引入的额外搬移也可能把它拖回访存 Bound——所以由 L1 驻留形态刻画，而不是由 AI 判定。

## 4. 实现方案

- **L0 tile**：L0C 放得下完整单 batch 输出（M·N·4B·2 ≤ L0C）则 BaseM=M、BaseN=N 只切 K；放不下则按较小维切。BaseK = min(L0A/(2·BaseM·dt), L0B/(2·BaseN·dt)) 向下 16 对齐；
- **L1 tile**：k_L1 按形态确定，须满足 k_L1·dt ≥ 128B（dValue 下限）；
- **流水**：fixpipe 开 unitflag（每个 16×16×16 fractal 算完即自动搬出，写出侧不需要软件排流水）；batch 间由 L0C 双缓冲自动交叠；
- **batch 边界掩盖**：要掩盖的只有"读入 (MTE2) ↔ 计算 (Cube)"。c 形态 b_core≥2 时半预算预取驻留侧；d 形态 K 段槽位同质连续天然无缝。

## 5. 时延模型（v1.1 §4，IterBatch 侧）

$$T_{iter} = \underbrace{b_{core}\cdot n_K\cdot(T_{load} + T_{cmd})}_{\text{搬移(逐 batch, 每次含 }T_{cmd}\text{)}} + \underbrace{T_{comp} + T_{write}}_{\text{末 batch drain}}$$

每 batch 的 A[M,K]+B[K,N] 作为独立 DMA 操作搬入 L1（源码 `ndNum = curIterBatchL1`，多块独立寻址）。

> **GM 数据量口径 (issue#31)**: 形态 a/b/c/d 的 K 段/驻留侧数据互不重叠、每个输入字节
> 恰好从 GM 读一次 (形态 c 的驻留侧每 batch 只搬一次; 切 K 末段按实际剩余计, 无 padding
> 上取) —— **芯片 GM 读取量 = V_in**, 与 L2 容量无关 (IterBatch 无 L2 级重复读)。
> n_K 只决定 DMA 命令数 (T_cmd 项, 950PR 默认 t_cmd=0) 与双缓冲调度, 不放大数据量;
> 数据时延按**效率加权** (V_A/eff_A + V_B/eff_B)/W_GM 计 (issue#36: 单命令 tile =
> nValue×dValue×dt 越小有效带宽越低, 达 min_TileSize=16KB 饱和; 分侧口径 —— a/b 形态
> 双侧整 K、c 形态驻留侧整 K + 对侧 k_L1 分块、d 形态双侧 k_L1 分块)。

## 6. 与 MergeBatch 的分界

见 [01_MergeBatch分支.md](01_MergeBatch分支.md) §4~5。IterBatch 在 **L1 绑定理想情形恒优**；MergeBatch 凭 命令节省 (T_cmd>0 时) 与 **搬移效率节省** (合并 tile 放大 b0 倍, T_cmd=0 时仍成立, issue#36) 胜出 —— 净收益 > 0 即 MergeBatch 优。

## 7. 与源码的差异（v1.1 §5.2）

源码 IterBatch 只覆盖形态 b（双 batch 乒乓）且要求 B > C；形态 a/c/d 的 case 由其他分支承接。本软件按理论完整覆盖四形态。

## 8. L0C 放不下 2 batch 时的 fallback（v1.1 §5.3）

源码在 L0C < 2·MN·4B 时不直接拒绝而是查 balance rate ≥ 0.8。理论证明该 fallback 自洽：此时 K < 362 → 写出 Bound 或接近均衡 → L0C 串行损失有界（≤54% 且随 K 减小而减小）→ 真正风险在 batch 负载不均（尾轮拖长）→ 软门限防负载不均是合理设计。