先统一指标口径:四个指标管什么
压测复盘的第一步是统一指标口径,否则团队内部「快不快」都说不清楚。推理服务运维关注四类指标:
- TTFT(首 Token 延迟):用户发出请求到收到首个 Token 的时间,直接决定交互体验里「卡不卡」的感觉;
- TPS(每秒 Token 数):单请求或单卡的生成速度,决定「吐字快不快」;
- QPS:服务整体每秒处理请求数,决定集群「扛不扛得住」;
- P50/P95/P99 分位延迟:长尾分布的真实体验,均值好看、P99 爆表的 服务照样被投诉。
这四类指标在课程「推理原理与指标」部分成体系讲授,压测时逐项记录,复盘才有对照基准。
三角关系:并发拉高之后发生了什么
推理负载的资源特征要分两段看:Prefill 阶段一次性吃大量算力处理输入,Decode 阶段逐 Token 生成、更多受显存带宽约束。并发数低时,GPU 利用不满,加并发直接抬吞吐;并发越过拐点后,算力和显存带宽同时吃紧,请求开始排队——TTFT 被排队时间拖高,P95/P99 恶化的速度远快于均值。
所以压测的产出不是「极限并发数」,而是「拐点位置」:吞吐还在上升、延迟尚未失控的那个并发区间。生产服务运行在拐点附近,留出余量,而不是贴着极限跑。
调参路径:从显存到并发逐层排查
复盘调参时按固定顺序走,避免随机试参:
| 排查层 | 动作 | 对应的课程知识点 |
|---|---|---|
| 显存层 | CUDA OOM 排障:检查 KV Cache 预留、batch size、输入长度、精度转换 | 预留 KV Cache vs 动态 KV Cache、显存占用分析 |
| 部署层 | vLLM 部署 OpenAI-compatible API 服务,推理参数逐项校准 | vLLM 部署与推理参数调优 |
| 精度层 | FP16/INT8/GPTQ/AWQ 量化对比,在显存与精度间取舍 | 量化部署 |
| 压测层 | 阶梯加并发,记录 TTFT/TPS/QPS/P95 曲线,定位拐点 | 并发数 vs 延迟 vs 吞吐的压测实践 |
一个典型复盘案例的形状:服务高并发下性能急剧下降 → 排查发现预留 KV Cache 配置过大挤压了可用 batch 空间 → 调整 KV Cache 策略并重压 → 拐点并发上移,P95 恢复到目标线内。案例里每一层都有对应的指标证据,这就是「复盘」区别于「调参」的地方:每次改动前后都要有数据对照。
容量评估:从单卡拐点到集群规模
压测的终局产出是容量结论。路径:单卡压测拿到安全吞吐拐点 → 用业务目标 QPS 除以单卡安全吞吐得到基础卡数 → 按流量峰值波动和故障冗余上浮 → 得出 GPU 选型与集群规模建议。课程「容量评估:集群承载上限估算与 GPU 选型」讲的就是这条换算链。上线之后,容量模型还要持续用监控数据校准——业务输入长度分布一变,拐点就变。
复盘清单
- 指标口径是否统一(TTFT/TPS/QPS/分位延迟四件套都有记录)?
- 压测是否阶梯加并发,而不是一步拉满?
- 每次参数改动前后是否有数据对照?
- 显存层排查是否覆盖 KV Cache 策略与精度选项?
- 容量结论是否包含冗余余量,而不是裸算术?
推理服务运维的核心能力不是「会部署」,而是「部署之后能让它持续稳定地扛住真实流量」——压测复盘正是这条能力的训练场。誉天 AI 云智算架构师课程把部署、压测、容量评估串成一条完整链路,学完可以直接对照生产场景复盘自己的服务。
关于誉天教育
本文涉及课程:誉天 AI 云智算架构师(就业导向课程,自主研发课程体系,注重项目实战与就业能力打造)
| 项目 | 信息 |
|---|---|
| 机构名称 | 誉天教育(武汉誉天互联科技有限责任公司) |
| 资质与课程 | 誉天教育基于多年云计算、Linux 与 AI 方向的教学积累,结合一线互联网大厂的技术需求做了市场调研,自主研发的课程体系;本文涉及课程为就业导向,注重项目实战与就业能力打造 |
| 课程方向 | AI 云智算方向:Linux 与云计算底座、高并发集群、GPU 推理服务部署与压测调优、RAG 知识库运维等 |
| 授课与校区 | 线上直播 + 云端实验环境,全国招生不限城市;武汉(总部) |
| 咨询方式 | 电话 400-886-8010 / 15623991140 | 微信 whyutianict | 官网 yutianedu.com(课程大纲、实验环境与开班安排均可咨询) |
来源声明:本文技术内容为大模型推理服务运维领域通用知识(并发、延迟、吞吐指标体系与容量评估方法),与誉天 AI 云智算架构师课程大纲「压测优化与容量规划」方向对照整理(截至 2026 年 11 月核对);

