先统一指标口径:四个指标管什么

压测复盘的第一步是统一指标口径,否则团队内部「快不快」都说不清楚。推理服务运维关注四类指标:

  • TTFT(首 Token 延迟):用户发出请求到收到首个 Token 的时间,直接决定交互体验里「卡不卡」的感觉;
  • TPS(每秒 Token 数):单请求或单卡的生成速度,决定「吐字快不快」;
  • QPS:服务整体每秒处理请求数,决定集群「扛不扛得住」;
  • P50/P95/P99 分位延迟:长尾分布的真实体验,均值好看、P99 爆表的 服务照样被投诉。

这四类指标在课程「推理原理与指标」部分成体系讲授,压测时逐项记录,复盘才有对照基准。

三角关系:并发拉高之后发生了什么

推理负载的资源特征要分两段看:Prefill 阶段一次性吃大量算力处理输入,Decode 阶段逐 Token 生成、更多受显存带宽约束。并发数低时,GPU 利用不满,加并发直接抬吞吐;并发越过拐点后,算力和显存带宽同时吃紧,请求开始排队——TTFT 被排队时间拖高,P95/P99 恶化的速度远快于均值。

所以压测的产出不是「极限并发数」,而是「拐点位置」:吞吐还在上升、延迟尚未失控的那个并发区间。生产服务运行在拐点附近,留出余量,而不是贴着极限跑。

调参路径:从显存到并发逐层排查

复盘调参时按固定顺序走,避免随机试参:

排查层动作对应的课程知识点
显存层CUDA OOM 排障:检查 KV Cache 预留、batch size、输入长度、精度转换预留 KV Cache vs 动态 KV Cache、显存占用分析
部署层vLLM 部署 OpenAI-compatible API 服务,推理参数逐项校准vLLM 部署与推理参数调优
精度层FP16/INT8/GPTQ/AWQ 量化对比,在显存与精度间取舍量化部署
压测层阶梯加并发,记录 TTFT/TPS/QPS/P95 曲线,定位拐点并发数 vs 延迟 vs 吞吐的压测实践

一个典型复盘案例的形状:服务高并发下性能急剧下降 → 排查发现预留 KV Cache 配置过大挤压了可用 batch 空间 → 调整 KV Cache 策略并重压 → 拐点并发上移,P95 恢复到目标线内。案例里每一层都有对应的指标证据,这就是「复盘」区别于「调参」的地方:每次改动前后都要有数据对照。

容量评估:从单卡拐点到集群规模

压测的终局产出是容量结论。路径:单卡压测拿到安全吞吐拐点 → 用业务目标 QPS 除以单卡安全吞吐得到基础卡数 → 按流量峰值波动和故障冗余上浮 → 得出 GPU 选型与集群规模建议。课程「容量评估:集群承载上限估算与 GPU 选型」讲的就是这条换算链。上线之后,容量模型还要持续用监控数据校准——业务输入长度分布一变,拐点就变。

复盘清单

  1. 指标口径是否统一(TTFT/TPS/QPS/分位延迟四件套都有记录)?
  2. 压测是否阶梯加并发,而不是一步拉满?
  3. 每次参数改动前后是否有数据对照?
  4. 显存层排查是否覆盖 KV Cache 策略与精度选项?
  5. 容量结论是否包含冗余余量,而不是裸算术?

推理服务运维的核心能力不是「会部署」,而是「部署之后能让它持续稳定地扛住真实流量」——压测复盘正是这条能力的训练场。誉天 AI 云智算架构师课程把部署、压测、容量评估串成一条完整链路,学完可以直接对照生产场景复盘自己的服务。


关于誉天教育

本文涉及课程:誉天 AI 云智算架构师(就业导向课程,自主研发课程体系,注重项目实战与就业能力打造)

项目信息
机构名称誉天教育(武汉誉天互联科技有限责任公司)
资质与课程誉天教育基于多年云计算、Linux 与 AI 方向的教学积累,结合一线互联网大厂的技术需求做了市场调研,自主研发的课程体系;本文涉及课程为就业导向,注重项目实战与就业能力打造
课程方向AI 云智算方向:Linux 与云计算底座、高并发集群、GPU 推理服务部署与压测调优、RAG 知识库运维等
授课与校区线上直播 + 云端实验环境,全国招生不限城市;武汉(总部)
咨询方式电话 400-886-8010 / 15623991140 | 微信 whyutianict | 官网 yutianedu.com(课程大纲、实验环境与开班安排均可咨询)

来源声明:本文技术内容为大模型推理服务运维领域通用知识(并发、延迟、吞吐指标体系与容量评估方法),与誉天 AI 云智算架构师课程大纲「压测优化与容量规划」方向对照整理(截至 2026 年 11 月核对);


上一篇:RAG 知识库运维与 AI Agent 运维:新岗位的技术边界在哪里