[P1] dValue 下限约束口径矛盾:IterBatch 形态 a/b"恒满足"与评估器 k_L1*dtype>=128B 检查冲突 #6

Closed
opened 2026-09-03 10:56:39 +00:00 by admin · 1 comment
Owner

现象branches/iter_batch.py:95-104 对 L1 驻留形态 a/b(K 整体驻留、不切 K)的搬移效率条件直接判"恒满足";而 evaluator.py:83-84 对所有 k_l1>0 的方案无条件要求 k_l1 * dtype >= 128B (dvalue_min)。当 K 较小且整体驻留时(如 B=256 M=128 N=1024 K=8 bf16、B=64 M=64 N=512 K=2 fp8),recommend 照常推荐 IterBatch,evaluate 却判不可行——同一软件两种模式对同一方案给出相反结论。

附带影响:小 K 整驻留 case 的时延估算按满带宽线性计时(每 batch 1 次 DMA + 50ns T_cmd),未计 16KB min_TileSize / 128B dValue 崩坏效应,估算偏乐观。

期望:作者从理论口径上裁定——(a) a/b 形态整驻留的小 K 搬移是否豁免 dValue 约束并给出理由;或 (b) 评估器区分"整矩阵单次搬移"与"K 切分搬移"分别应用约束;两处规则必须一致,且生成阶段同源校验。

参考:测评报告 §5.2。

**现象**:`branches/iter_batch.py:95-104` 对 L1 驻留形态 a/b(K 整体驻留、不切 K)的搬移效率条件直接判"恒满足";而 `evaluator.py:83-84` 对所有 `k_l1>0` 的方案无条件要求 `k_l1 * dtype >= 128B (dvalue_min)`。当 K 较小且整体驻留时(如 B=256 M=128 N=1024 K=8 bf16、B=64 M=64 N=512 K=2 fp8),recommend 照常推荐 IterBatch,evaluate 却判不可行——同一软件两种模式对同一方案给出相反结论。 **附带影响**:小 K 整驻留 case 的时延估算按满带宽线性计时(每 batch 1 次 DMA + 50ns T_cmd),未计 16KB min_TileSize / 128B dValue 崩坏效应,估算偏乐观。 **期望**:作者从理论口径上裁定——(a) a/b 形态整驻留的小 K 搬移是否豁免 dValue 约束并给出理由;或 (b) 评估器区分"整矩阵单次搬移"与"K 切分搬移"分别应用约束;两处规则必须一致,且生成阶段同源校验。 **参考**:测评报告 §5.2。
Author
Owner

【修复说明 · 乱码重写】原评论提交时编码损坏、内容不可恢复, 以下按 git 记录 / issue 正文 / 残留文本重建 (要点级, 非逐字原稿):

[P1] dValue 下限约束口径矛盾 已修复 (design 裁定):

  • K 整体驻留 (k_L1 >= K, 不切 K) 时连续维是 M/N 而非 K, K 向 128B 下限豁免
    (constraints._k_segment_is_contiguous 统一口径);
  • 仅当 K 被切分 (IterBatch c/d / MergeBatch / ASW / StreamK) 时 k_L1*dtype >= 128B 生效;
  • 文档 docs/01_软件架构同步 (593ffcf), 回归 test_issue6_iterbatch_small_k_whole_resident;
  • 转置感知细化 (A 转置判 Mdt / B 不转置判 Ndt) 后由 9afe6ee (#19) 三处同源强化。
【修复说明 · 乱码重写】原评论提交时编码损坏、内容不可恢复, 以下按 git 记录 / issue 正文 / 残留文本重建 (要点级, 非逐字原稿): [P1] dValue 下限约束口径矛盾 已修复 (design 裁定): - K 整体驻留 (k_L1 >= K, 不切 K) 时连续维是 M/N 而非 K, K 向 128B 下限**豁免** (constraints._k_segment_is_contiguous 统一口径); - 仅当 K 被切分 (IterBatch c/d / MergeBatch / ASW / StreamK) 时 k_L1*dtype >= 128B 生效; - 文档 docs/01_软件架构同步 (593ffcf), 回归 test_issue6_iterbatch_small_k_whole_resident; - 转置感知细化 (A 转置判 M*dt / B 不转置判 N*dt) 后由 9afe6ee (#19) 三处同源强化。
admin closed this issue 2026-09-03 12:05:42 +00:00
Sign in to join this conversation.
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: admin/matmul-analysis#6
No description provided.