resource-budget

---
name: resource-budget
description: 估算一次模型执行能否放入给定硬件，并定位计算、访存和串行等待的下界。用于粗估容量、时延或优化收益；具体模型结构另用 model-footprint。
---

# 模型执行资源初估

适用：尚未确定系统方案，需要判断可行性或找出最值得测量的瓶颈。依据 `manuscripts/01-初识 AI Infra.md` 第 1.2—1.4 节。

1. 写清任务目标、输入/输出 token 数、并发、精度、硬件容量与带宽，以及时延或成本上限。区分已测值、规格峰值与假设。
2. 分别估算驻留容量 $M$、运算量 $F$、每层存储接口读写量 $R$。权重、KV、激活、工作区和缓冲区按生命周期计入；保存一次与读取多次不能混为一项。
3. 先检验 $M\le M_{cap}$，再计算 $F/\Pi$ 与 $R/\beta$ 的理想时间下界。对于多级存储或网络，沿实际路径分别计算，不把不同接口带宽相加。
4. 沿依赖关系画关键路径：排队、模型计算、数据搬移、工具等待和输出展示哪些串行、哪些可重叠。用局部耗时占比估算优化的整体收益；不能只用峰值 FLOPS 宣称端到端加速。
5. 对照实测，解释差距可能来自遗漏的数据量、带宽利用率、启动、同步或排队；列出下一项应采集的指标。

输出一张“输入/假设、容量检查、时间下界、实测或未知、瓶颈判断”的表。所有量标明单位与十进制/二进制容量口径。具体配置和可复算数字见 `calculations/README.md`；模型架构变化转用 `model-footprint`。

More agent context in bojieli/ai-infra-book

11 other files this repository gives its agents.