distributed-inference

---
name: distributed-inference
description: 比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
---

# 分布式推理部署

适用：单实例配置已知，需把计算和状态分配到多个实例。依据 `manuscripts/09-分布式推理.md` 第 9.1—9.7 节。

1. 用相同任务质量、请求分布与资源总量比较完整副本、PD 分离、异构执行等候选；先列出每阶段的服务率与状态驻留量。
2. 对每次切分，计算交接的 KV 或激活字节、链路传输时间、发送端与接收端同时占用的容量，以及可能与计算重叠的部分。状态表示改变后重新计算，不能沿用旧模型的 KV 大小。
3. 路由同时考虑空闲算力和缓存亲和性。专家放置要考虑热点 skew、复制容量与最慢专家，不只看平均 token 数。
4. 在启动、扩容和故障恢复中列出模型加载、预热、状态迁移、checkpoint 或重算的时间；评估流式输出中断后的用户可见影响。
5. 用容量、吞吐、尾延迟和恢复后的按期完成率比较方案，并指出负载发生何种变化时需要重新部署。

报告资源配比、阶段服务率、链路瓶颈及状态交接成本。只有局部 kernel 指标时，先取得完整请求轨迹再做部署结论。

More agent context in bojieli/ai-infra-book

11 other files this repository gives its agents.