model-footprint

---
name: model-footprint
description: 比较模型配置或架构改变对权重容量、KV 状态、前向计算和访存的影响。用于选模型、上下文或注意力与 MoE 方案。
---

# 模型架构资源账

适用：讨论长上下文、GQA/MLA、MoE、精度或 batch 变化时，先量化模型本身的资源需求。依据 `manuscripts/02-模型架构.md` 第 2.1—2.6 节。

1. 从模型配置取得层数、隐藏维、注意力头和 KV 头、专家总数及每 token 激活数、参数精度。没有配置时标记未知，勿从参数总数臆造结构。
2. 分开计算权重容量、每 token 上下文状态大小、prefill 计算、单步 decode 计算，以及完整输出期间的状态读取。区分上下文长度、输出长度和 batch 对各项的作用。
3. 对注意力变体，核对实际保存和读取的状态表示；对 MoE，区分总参数的驻留容量与每 token 的激活计算、批内被访问的专家权重。
4. 比较两种架构时固定任务质量、输入输出长度、并发与硬件；列出变化的量及未变化的量，再判断容量或带宽瓶颈是否迁移。

输出按 prefill、单步 decode、完整请求分列的容量、FLOPs、读写字节表。模型配置与示例计算见 `calculations/README.md`。系统级延迟、排队和调度交给 `workload-modeling` 或 `inference-serving`。

More agent context in bojieli/ai-infra-book

11 other files this repository gives its agents.