workload-modeling

---
name: workload-modeling
description: 把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。用于估算峰值、状态驻留和完成任务的真实成本。
---

# 从单次请求到持续负载

适用：单请求估算已经有了，但系统需要处理到达、排队、工具等待或失败重试。依据 `manuscripts/03-推理与训练负载.md` 第 3.1—3.6 节。

1. 记录任务完成标准和质量门槛；收集到达率的时间分布，而非仅平均 QPS。分开统计输入长度、输出长度、分支数和多轮调用数。
2. 将每条轨迹拆成 prefill、decode、工具执行、等待、验证、重试和状态驻留。每个阶段写明使用的资源与下一阶段依赖。
3. 用阶段服务时间与到达率估算利用率；用突发窗口、排队和高分位请求检查平均值掩盖的峰值。状态容量按并发驻留数量计算，即使任务正在等工具也需确认是否占用 KV 或环境内存。
4. 比较方案时固定合格任务数、质量和截止时间；同时报告每个完成任务的模型调用、总 token、GPU 时间、工具时间和失败重做。

交付负载轨迹表及峰值/平均两组预算。训练和 RL 任务还应计入反向、权重同步与有效样本率。不要把每秒 token 吞吐直接当作 Agent 任务完成率。

More agent context in bojieli/ai-infra-book

11 other files this repository gives its agents.