parallelism-planning

---
name: parallelism-planning
description: 比较数据、张量、序列、上下文、流水和专家并行的容量与通信代价。用于决定多卡切分和超节点规模。
---

# 多卡并行方案

适用：单卡容量或吞吐不足，需要决定如何切分模型、状态与工作。依据 `manuscripts/06-超节点.md` 第 6.1—6.7 节。

1. 明确任务是最小化单会话延迟、完成一批请求的时间，还是每请求成本；写出设备数、每卡容量和实际拓扑。
2. 对每种候选切分，标出权重、激活、KV 的持有者与生命周期。先检验单卡容量、合法张量形状和流水所需的批量。
3. 列出每层或每步的 collectives、字节量、轮次与经过的链路；区分超节点内互联和跨服务器路径。计算不能无限平分，串行阶段、同步与最慢卡仍在关键路径上。
4. 比较端到端延迟、吞吐和故障域。较大实例可能缩短单请求，却减少可同时服务的独立请求数。

输出每种方案的容量、计算、通信、空泡和完成时间估算。对于跨超节点的网络路径继续使用 `cluster-network-analysis`。

More agent context in bojieli/ai-infra-book

11 other files this repository gives its agents.