v0.8: 符号表补Q16/Q_AIV/W_L2,θ_c逐步计算,8192=dValue推荐值

This commit is contained in:
2026-08-24 00:20:52 +00:00
parent ca6120b938
commit 1dba7c94e1

View File

@@ -20,10 +20,13 @@
| 符号 | 含义 | 950PR 取值 |
|---|---|---|
| C | AIC 核数aicNum | 32 |
| Q₁₆ | 单核 Cube BF16 峰值算力 | 486/C ≈ 15.2 TFLOPS |
| Q_AIV | AIV 向量求和吞吐64 核合计) | 64×128 fp32/拍×1.65GHz ≈ 13.5 Tops/s |
| L1 | 每核 L1 Buffer | 512KB |
| L0A / L0B | 每核 L0A / L0B | 64KB / 64KB |
| L0C | 每核 L0CFP32 累加4B/元素) | 256KB |
| L2 | L2 Cache 容量 / 带宽 | 128MB / 5.2TB/s |
| L2 | L2 Cache 容量 | 128MB |
| W_L2 | L2 读写带宽 | 5.2TB/s |
| W_GM | GM 带宽(读写共享) | 1.6TB/s |
| R₁₆ | 16bit 对应位宽算存比 | ≈607.5 FLOP/元素 |
| dValue | 单数据块内数据连续排布长度 | 推荐 256B/512B不建议 <128B |
@@ -264,25 +267,39 @@ $$T_{SK} = \frac{T_{pipe}}{grid_K} + T_{Reduce} < T_{pipe} \;\Longleftrightarrow
StreamK case 的 M、N 小P<C/2AI = 2MN/(M+N) 通常远低于 R₁₆ 多数**访存 Bound**$T_{pipe} = T_{MTE2}$ 是瓶颈条件为 $T_{MTE2} > \dfrac{grid_K}{grid_K-1}\cdot T_{Reduce}$。
$T_{Reduce}$ 的构成(每输出块,部分和驻留 L2、AIV 归约):
$T_{Reduce}$ 的构成(每输出块,部分和驻留 L2、AIV 归约;符号定义见 §二
$$
T_{Reduce} = \underbrace{\frac{grid_K \cdot MN \cdot 4\text{B}}{W_{L2}}}_{\text{AIC 写部分和}} + \underbrace{\frac{grid_K \cdot MN \cdot 4\text{B}}{W_{L2}}}_{\text{AIV 读回}} + \underbrace{\frac{grid_K \cdot MN}{Q_{AIV}}}_{\text{AIV 求和}} + \underbrace{\frac{MN \cdot outB}{W_{L2}}}_{\text{写回}}
$$
代入数值求 K 闭式阈值(以计算 Bound 为例,$T_{pipe}=T_{MMAD}=2MNK/Q_{16}$
求 K 闭式阈值(以计算 Bound 为例,$T_{pipe}=T_{MMAD}=2MNK/Q_{16}$;访存 Bound 时阈值更低
$$
K > \frac{grid_K^2}{grid_K-1}\cdot\underbrace{\frac{Q_{16}}{2}\Big(\frac{8\text{B}}{W_{L2}}+\frac{1}{Q_{AIV}}\Big)}_{\theta_c\,\approx\,11} + \frac{grid_K}{grid_K-1}\cdot\frac{Q_{16}\cdot outB}{2W_{L2}}
K > \frac{grid_K^2}{grid_K-1}\cdot\theta_c,\qquad
\theta_c = \frac{Q_{16}}{2}\Big(\frac{8\text{B}}{W_{L2}}+\frac{1}{Q_{AIV}}\Big)
$$
grid_K=2→K>494→K>628→K>102。访存 Bound 时阈值更低θ_m ~ 0.04·MN/(M+N),可忽略)。
代入数值:$Q_{16}$ = 486/32 ≈ 15.2 TFLOPS$W_{L2}$ = 5.2 TB/s$Q_{AIV}$ ≈ 13.5 Tops/s
注意 θ_c 对 workspace 落点敏感:部分和落 GM 时读写带宽从 5.2TB/s 降到 ~0.64TB/sθ_c 升至约 87。设计时应优先保证 workspace 驻留 L2。
$$
\theta_c = \frac{15.2\times10^{12}}{2}\Big(\underbrace{\frac{8}{5.2\times10^{12}}}_{1.54\,\text{ps/元素}} + \underbrace{\frac{1}{13.5\times10^{12}}}_{0.07\,\text{ps/元素}}\Big) = 7.6\times10^{12} \times 1.61\times10^{-12} \approx 12
$$
L2 读写1.54 ps/元素是主导项AIV 求和0.07)仅占 5%;多 tile 并行归约共享 L2/AIV 带宽的影响可忽略P < C/2 块并行归约总量 ~MB vs 单块 T_pipe ~μs )。
grid_K=2→K>494→K>668→K>112。
注意 θ_c 对 workspace 落点敏感:部分和落 GM 时读写带宽从 5.2TB/s 降到 ~0.64TB/sθ_c 升至约 97。设计时应优先保证 workspace 驻留 L2。
4. **工程约束**:归约顺序不定引入浮点非确定性,确定性等级 2/3 的业务禁用。
**源码对照**`batch_matmul_v3_basic_streamk_tiling.cpp` 中 K 的固定门槛为 `CeilAlign(K,256) ≥ max(8192, aicNum×256B/dtype)``aicNum×256B/dtype` 对应条件 2 的 dValue 推荐值。修正后的归约阈值θ_c≈11远低于 8192——说明 8192 的主要动机不是归约代价而是摊薄固定开销workspace 建立、归约同步、AIV 启动),是条件 2/3 的保守合并近似。
**源码对照**`batch_matmul_v3_basic_streamk_tiling.cpp` 中 K 的固定门槛为 `CeilAlign(K,256) ≥ max(8192, aicNum×256B/dtype)`
* `aicNum×256B/dtype` = 32×128 = 4096BF16= **dValue 下限256B在最大 grid_K=C 下的保障**——对应条件 2
* `8192` = 32×256 = C×512BBF16= **dValue 推荐值512B在最大 grid_K=C 下的保障**——同为条件 2取推荐值而非下限。
max 取更严格的 8192。修正后的归约阈值θ_c≈12grid_K=32 时 K>396远低于 8192说明 **8192 的绑定约束是 dValue条件 2不是归约代价条件 3**。源码不动态计算 grid_K用固定阈值同时覆盖条件 2 的最保守情形和条件 3是两条条件的保守合并近似。
### 实现方案