[P2] StreamK evaluate 使用假想 65536 元素 L0C 方形 tile，未按 plan 实际 single_core_m×n 计量（瘦长 case 搬入低估 ~16x） #25

New Issue

admin · 2026-09-04T03:38:05Z

admin commented

2026-09-04 03:38:05 +00:00

stream_k.evaluate 用 tile_elems=65536 及 √65536=256 方形假设计算每核搬入/MMAD/归约/部分和，与 make_plan 生成的 single_core_m×n 不一致（仅 M=N=256 附近近似成立）。
证据：B=4 M=1 N=8192 K=8192 → plan tile=1x8192（8192 元素/核），每核真实搬入 kseg*(M+N)dt=4.10MB，模型 gm_read_bytes 仅 0.26MB（低估 ~16x，MMAD 反向按 65536 元素高估 8x）；streamk_demo M=N=128 也有 2x 偏差（模型 320KB vs 真实 160KB/核）。
期望：evaluate 按 plan 的 tile 尺寸与 m_cnt/n_cnt/b/grid_k 布局重写字节量与归约口径，并补 M!=N、MN!=65536 回归样例。

stream_k.evaluate 用 tile_elems=65536 及 √65536=256 方形假设计算每核搬入/MMAD/归约/部分和，与 make_plan 生成的 single_core_m×n 不一致（仅 M=N=256 附近近似成立）。证据：B=4 M=1 N=8192 K=8192 → plan tile=1x8192（8192 元素/核），每核真实搬入 kseg*(M+N)*dt=4.10MB，模型 gm_read_bytes 仅 0.26MB（低估 ~16x，MMAD 反向按 65536 元素高估 8x）；streamk_demo M=N=128 也有 2x 偏差（模型 320KB vs 真实 160KB/核）。期望：evaluate 按 plan 的 tile 尺寸与 m_cnt/n_cnt/b/grid_k 布局重写字节量与归约口径，并补 M!=N、M*N!=65536 回归样例。

admin commented

2026-09-04 03:43:39 +00:00

【修复说明 · 乱码重写】原评论提交时编码损坏、内容不可恢复, 以下按 git 记录 / issue 正文 / 残留文本重建 (要点级, 非逐字原稿):

[P2] StreamK evaluate 使用假想 65536 方形 tile、未按 plan 实际 tile 计已修复 (commit 4843053):

evaluate 按 plan 实际布局: tile = single_core_m × single_core_n, 波次
waves = ceil(bm_cntn_cnt*grid_K / C), 组内 K 段零重复读;
GM 首读 = b*(MK + KN)*dt 芯片口径 (组间共享命中 L2 时), MMAD = 芯片总量;
修复前瘦长 case (B=4/M=1/N=8192/K=8192) 每核搬入被低估 ~16x; 修复后 ≈337us,
与 GM 读 512MiB 的物理下限一致。

【修复说明 · 乱码重写】原评论提交时编码损坏、内容不可恢复, 以下按 git 记录 / issue 正文 / 残留文本重建 (要点级, 非逐字原稿): [P2] StreamK evaluate 使用假想 65536 方形 tile、未按 plan 实际 tile 计已修复 (commit 4843053): - evaluate 按 plan 实际布局: tile = single_core_m × single_core_n, 波次 waves = ceil(b*m_cnt*n_cnt*grid_K / C), 组内 K 段零重复读; - GM 首读 = b*(M*K + K*N)*dt 芯片口径 (组间共享命中 L2 时), MMAD = 芯片总量; - 修复前瘦长 case (B=4/M=1/N=8192/K=8192) 每核搬入被低估 ~16x; 修复后 ≈337us, 与 GM 读 512MiB 的物理下限一致。

admin closed this issue

2026-09-04 03:43:39 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: admin/matmul-analysis#25