accelerator-selection

---
name: accelerator-selection
description: 为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
---

# 加速器选型

适用：模型与负载已明确，需要判断哪类设备能在期限和预算内完成任务。依据 `manuscripts/04-加速器架构.md` 第 4.1—4.8 节。

1. 用模型的权重、KV、激活及工作区过滤容量不可行的候选，并注明精度与显存保留量。
2. 对每个候选分别计算计算下界、各级存储搬移下界、主机与加速器传输开销；结合矩阵形状与精度说明标称算力是否可达到。
3. 记录可持续功率、能耗与设备价格。吞吐、单请求延迟、每合格任务成本是不同目标，不用单一 FLOPS/$ 排名替代。
4. 用相同模型、输入、批量与测试边界测量 kernel 和完整任务；观察内存访问计数、实际带宽、利用率和降频。将预测和实测差距分配到可解释的阶段。

给出“可行性 → 性能下界 → 实测 → 能耗/成本”的比较表，并指出决定选择的约束。没有同口径的实测时，结论标为预测；单卡选型之外的通信代价转用 `parallelism-planning`。

More agent context in bojieli/ai-infra-book

11 other files this repository gives its agents.