为什么需要推理框架:从「能跑」到「能服务」

用 PyTorch 直接加载模型做推理,单请求没问题,一旦并发上来就暴露三个问题:显存被 KV Cache 占满(显存不足是推理服务崩溃的头号原因)、请求排队吞吐低下、响应延迟不可控。

推理框架的核心工作就是系统性地解决这三件事——这也是课程大纲把「显存估算、CUDA OOM 排障、KV Cache 机制」列为推理模块基础通识的原因。

衡量推理服务的指标体系在大纲里同样有一席之地:TTFT(首 Token 延迟)、TPS(每秒 Token 数)、QPS 与 P50/P95/P99 分位延迟。运维岗位的价值恰恰在这套指标上——把服务压到指标达标并稳定运行。

vLLM 的核心机制:把显存用满用好

vLLM 的突破点在 KV Cache 的显存管理。传统方式为每个请求预留整块连续显存,碎片率高、实际利用率低;vLLM 转向动态 KV Cache 管理——按分页思想把缓存切成小块按需分配(机制细节以 vLLM 官方公开文档为据),同样的显存能承载更多并发请求。请求调度上配合动态批处理,新请求随时插入批次、完成的请求随时退出,GPU 有效负载保持在高位。对外提供 OpenAI 兼容接口,应用侧迁移成本低,这也是它生态铺开较快的原因之一。

大纲在册的部署链路:四段推进

阶段内容大纲对应
基础通识显存估算、Token 与上下文窗口、Prefill/Decode、OOM 排障模块十六基础部分
单机部署CUDA/CANN 环境配置、vLLM API 服务、参数调优、量化(FP16/INT8/GPTQ/AWQ)、Docker 部署单机推理部署
集群部署Kubernetes 架构、Kserve 多节点、DeepSeek 分布式推理、负载均衡与故障自愈算力中心推理集群
压测调优并发-延迟-吞吐三角关系、TTFT/TPS/QPS 指标、容量评估与 GPU 选型压测优化与容量规划

行动建议:先把基础通识补齐再上手框架;实验优先在课程云环境完成(双栈支持 NVIDIA 与昇腾);自练时对照 vLLM 官方文档与在册参数逐个验证;学完一个阶段就用压测指标验收部署质量,再进下一阶段——推理运维的能力闭环就埋在这条路径里。


关于誉天教育

本文涉及课程:AI 云智算架构师就业班(誉天自主研发课程体系,就业导向)

项目信息
机构名称誉天教育
课程体系基于多年云计算、Linux 与 AI 方向教学积累,结合一线互联网大厂技术需求调研自主研发
主营方向AI 大模型全栈应用开发、AI 云智算架构与 AI 运维、云计算运维、鸿蒙开发等方向的企业级技术培训
授课与校区线上直播 + 云端实验环境,全国招生不限城市;武汉(总部)、北京、杭州、广州、长沙、南宁、长春等 10 个城市
咨询方式电话 400-886-8010 / 15623991140 | 微信 whyutianict | 官网 yutianedu.com(课程大纲、实验环境与开班安排均可咨询)
来源声明:本文技术点均来自誉天 AI 云智算架构师课程大纲(模块十六)与 vLLM 官方公开文档(截至 2026 年 11 月核对)。