v0.8: 符号表补Q16/Q_AIV/W_L2,θ_c逐步计算,8192=dValue推荐值
This commit is contained in:
@@ -20,10 +20,13 @@
|
||||
| 符号 | 含义 | 950PR 取值 |
|
||||
|---|---|---|
|
||||
| C | AIC 核数(aicNum) | 32 |
|
||||
| Q₁₆ | 单核 Cube BF16 峰值算力 | 486/C ≈ 15.2 TFLOPS |
|
||||
| Q_AIV | AIV 向量求和吞吐(64 核合计) | 64×128 fp32/拍×1.65GHz ≈ 13.5 Tops/s |
|
||||
| L1 | 每核 L1 Buffer | 512KB |
|
||||
| L0A / L0B | 每核 L0A / L0B | 64KB / 64KB |
|
||||
| L0C | 每核 L0C(FP32 累加,4B/元素) | 256KB |
|
||||
| L2 | L2 Cache 容量 / 带宽 | 128MB / 5.2TB/s |
|
||||
| L2 | L2 Cache 容量 | 128MB |
|
||||
| W_L2 | L2 读写带宽 | 5.2TB/s |
|
||||
| W_GM | GM 带宽(读写共享) | 1.6TB/s |
|
||||
| R₁₆ | 16bit 对应位宽算存比 | ≈607.5 FLOP/元素 |
|
||||
| dValue | 单数据块内数据连续排布长度 | 推荐 256B/512B,不建议 <128B |
|
||||
@@ -264,25 +267,39 @@ $$T_{SK} = \frac{T_{pipe}}{grid_K} + T_{Reduce} < T_{pipe} \;\Longleftrightarrow
|
||||
|
||||
StreamK case 的 M、N 小(P<C/2),AI = 2MN/(M+N) 通常远低于 R₁₆ → 多数**访存 Bound**,$T_{pipe} = T_{MTE2}$ 是瓶颈,条件为 $T_{MTE2} > \dfrac{grid_K}{grid_K-1}\cdot T_{Reduce}$。
|
||||
|
||||
$T_{Reduce}$ 的构成(每输出块,部分和驻留 L2、AIV 归约):
|
||||
$T_{Reduce}$ 的构成(每输出块,部分和驻留 L2、AIV 归约;符号定义见 §二):
|
||||
|
||||
$$
|
||||
T_{Reduce} = \underbrace{\frac{grid_K \cdot MN \cdot 4\text{B}}{W_{L2}}}_{\text{AIC 写部分和}} + \underbrace{\frac{grid_K \cdot MN \cdot 4\text{B}}{W_{L2}}}_{\text{AIV 读回}} + \underbrace{\frac{grid_K \cdot MN}{Q_{AIV}}}_{\text{AIV 求和}} + \underbrace{\frac{MN \cdot outB}{W_{L2}}}_{\text{写回}}
|
||||
$$
|
||||
|
||||
代入数值求 K 闭式阈值(以计算 Bound 为例,$T_{pipe}=T_{MMAD}=2MNK/Q_{16}$):
|
||||
求 K 闭式阈值(以计算 Bound 为例,$T_{pipe}=T_{MMAD}=2MNK/Q_{16}$;访存 Bound 时阈值更低):
|
||||
|
||||
$$
|
||||
K > \frac{grid_K^2}{grid_K-1}\cdot\underbrace{\frac{Q_{16}}{2}\Big(\frac{8\text{B}}{W_{L2}}+\frac{1}{Q_{AIV}}\Big)}_{\theta_c\,\approx\,11} + \frac{grid_K}{grid_K-1}\cdot\frac{Q_{16}\cdot outB}{2W_{L2}}
|
||||
K > \frac{grid_K^2}{grid_K-1}\cdot\theta_c,\qquad
|
||||
\theta_c = \frac{Q_{16}}{2}\Big(\frac{8\text{B}}{W_{L2}}+\frac{1}{Q_{AIV}}\Big)
|
||||
$$
|
||||
|
||||
grid_K=2→K>49;4→K>62;8→K>102。访存 Bound 时阈值更低(θ_m ~ 0.04·MN/(M+N),可忽略)。
|
||||
代入数值:$Q_{16}$ = 486/32 ≈ 15.2 TFLOPS,$W_{L2}$ = 5.2 TB/s,$Q_{AIV}$ ≈ 13.5 Tops/s:
|
||||
|
||||
注意 θ_c 对 workspace 落点敏感:部分和落 GM 时读写带宽从 5.2TB/s 降到 ~0.64TB/s,θ_c 升至约 87。设计时应优先保证 workspace 驻留 L2。
|
||||
$$
|
||||
\theta_c = \frac{15.2\times10^{12}}{2}\Big(\underbrace{\frac{8}{5.2\times10^{12}}}_{1.54\,\text{ps/元素}} + \underbrace{\frac{1}{13.5\times10^{12}}}_{0.07\,\text{ps/元素}}\Big) = 7.6\times10^{12} \times 1.61\times10^{-12} \approx 12
|
||||
$$
|
||||
|
||||
L2 读写(1.54 ps/元素)是主导项,AIV 求和(0.07)仅占 5%;多 tile 并行归约共享 L2/AIV 带宽的影响可忽略(P < C/2 块并行,归约总量 ~MB 级,vs 单块 T_pipe ~μs 级)。
|
||||
|
||||
grid_K=2→K>49;4→K>66;8→K>112。
|
||||
|
||||
注意 θ_c 对 workspace 落点敏感:部分和落 GM 时读写带宽从 5.2TB/s 降到 ~0.64TB/s,θ_c 升至约 97。设计时应优先保证 workspace 驻留 L2。
|
||||
|
||||
4. **工程约束**:归约顺序不定引入浮点非确定性,确定性等级 2/3 的业务禁用。
|
||||
|
||||
**源码对照**:`batch_matmul_v3_basic_streamk_tiling.cpp` 中 K 的固定门槛为 `CeilAlign(K,256) ≥ max(8192, aicNum×256B/dtype)`。`aicNum×256B/dtype` 对应条件 2 的 dValue 推荐值。修正后的归约阈值(θ_c≈11)远低于 8192——说明 8192 的主要动机不是归约代价,而是摊薄固定开销(workspace 建立、归约同步、AIV 启动),是条件 2/3 的保守合并近似。
|
||||
**源码对照**:`batch_matmul_v3_basic_streamk_tiling.cpp` 中 K 的固定门槛为 `CeilAlign(K,256) ≥ max(8192, aicNum×256B/dtype)`。
|
||||
|
||||
* `aicNum×256B/dtype` = 32×128 = 4096(BF16)= **dValue 下限(256B)在最大 grid_K=C 下的保障**——对应条件 2;
|
||||
* `8192` = 32×256 = C×512B(BF16)= **dValue 推荐值(512B)在最大 grid_K=C 下的保障**——同为条件 2,取推荐值而非下限。
|
||||
|
||||
max 取更严格的 8192。修正后的归约阈值(θ_c≈12,grid_K=32 时 K>396)远低于 8192,说明 **8192 的绑定约束是 dValue(条件 2),不是归约代价(条件 3)**。源码不动态计算 grid_K,用固定阈值同时覆盖条件 2 的最保守情形和条件 3,是两条条件的保守合并近似。
|
||||
|
||||
### 实现方案
|
||||
|
||||
|
||||
Reference in New Issue
Block a user