training-system-planning

---
name: training-system-planning
description: 估算训练或 RL 作业的显存、步时、checkpoint、故障重做和完成期限。用于比较分片、重计算、卸载与集群规模。
---

# 训练系统规划

适用：需要证明某训练目标能否在给定设备和期限内完成。依据 `manuscripts/10-训练系统.md` 第 10.1—10.6 节。

1. 明确目标有效样本量、模型与优化器状态格式、序列长度、batch、设备数、故障率和截止时间；区分样本生成吞吐与有效样本吞吐。
2. 逐项计算参数、梯度、优化器状态、激活、通信与临时缓冲的峰值显存。ZeRO、重计算和卸载都以额外通信或计算换容量，需同时检查步时。
3. 沿一个训练步的依赖图累计前向、反向、归约、更新和未被覆盖的通信；最慢设备决定同步步时。检查 batch 扩大是否改变优化目标或收敛效率。
4. 把数据准备、checkpoint 写入、故障概率与预期重做加入长期完成时间。checkpoint 保存参数/优化器状态，也保存数据进度；保存间隔需平衡写入与丢失工作。
5. 对 RL 额外跟踪 rollout 样本、策略版本、行为概率、验证结果和训推数值一致性，避免把生成总量当作可训练样本数。

输出显存峰值、步时分解、有效样本吞吐、恢复开销和期限余量。硬件可行与训练质量可达应分别说明。

More agent context in bojieli/ai-infra-book

11 other files this repository gives its agents.