inference-serving

---
name: inference-serving
description: 为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
---

# 单实例推理配置

适用：模型已选定，需调整一个推理实例内的调度与内存管理。依据 `manuscripts/08-推理优化.md` 第 8.1—8.6 节。

1. 固定模型、精度、输入/输出分布、质量标准与硬件。测量 prefill、单步 decode、排队时间、KV 占用和每请求延迟分位数。
2. 先检查权重、最大并发 KV、工作区能否同时放下。批处理摊薄共享权重读取，却不能消除每条请求自己的状态读取；同时检查排队与长 prefill 对短请求的干扰。
3. 对分页、前缀共享或缓存，标出实际可共享的 token 范围、失效条件、分配与释放时机。上下文改写可能使后续前缀不能复用。
4. 对压缩、卸载和推测解码，计入额外搬移、草稿计算与验证。计算每轮耗时及平均被接受的输出 token 数，而非只比较理论生成倍数。
5. 在目标到达率下比较可容纳的并发、期限内完成率与每合格结果的 GPU 时间。

输出可行方案及其容量、TTFT、生成速率、尾延迟和成本。跨副本、prefill/decode 分离与共享状态问题转用 `distributed-inference`。

More agent context in bojieli/ai-infra-book

11 other files this repository gives its agents.