为什么需要推理框架:从「能跑」到「能服务」
用 PyTorch 直接加载模型做推理,单请求没问题,一旦并发上来就暴露三个问题:显存被 KV Cache 占满(显存不足是推理服务崩溃的头号原因)、请求排队吞吐低下、响应延迟不可控。
推理框架的核心工作就是系统性地解决这三件事——这也是课程大纲把「显存估算、CUDA OOM 排障、KV Cache 机制」列为推理模块基础通识的原因。
衡量推理服务的指标体系在大纲里同样有一席之地:TTFT(首 Token 延迟)、TPS(每秒 Token 数)、QPS 与 P50/P95/P99 分位延迟。运维岗位的价值恰恰在这套指标上——把服务压到指标达标并稳定运行。
vLLM 的核心机制:把显存用满用好
vLLM 的突破点在 KV Cache 的显存管理。传统方式为每个请求预留整块连续显存,碎片率高、实际利用率低;vLLM 转向动态 KV Cache 管理——按分页思想把缓存切成小块按需分配(机制细节以 vLLM 官方公开文档为据),同样的显存能承载更多并发请求。请求调度上配合动态批处理,新请求随时插入批次、完成的请求随时退出,GPU 有效负载保持在高位。对外提供 OpenAI 兼容接口,应用侧迁移成本低,这也是它生态铺开较快的原因之一。
大纲在册的部署链路:四段推进
| 阶段 | 内容 | 大纲对应 |
|---|---|---|
| 基础通识 | 显存估算、Token 与上下文窗口、Prefill/Decode、OOM 排障 | 模块十六基础部分 |
| 单机部署 | CUDA/CANN 环境配置、vLLM API 服务、参数调优、量化(FP16/INT8/GPTQ/AWQ)、Docker 部署 | 单机推理部署 |
| 集群部署 | Kubernetes 架构、Kserve 多节点、DeepSeek 分布式推理、负载均衡与故障自愈 | 算力中心推理集群 |
| 压测调优 | 并发-延迟-吞吐三角关系、TTFT/TPS/QPS 指标、容量评估与 GPU 选型 | 压测优化与容量规划 |
行动建议:先把基础通识补齐再上手框架;实验优先在课程云环境完成(双栈支持 NVIDIA 与昇腾);自练时对照 vLLM 官方文档与在册参数逐个验证;学完一个阶段就用压测指标验收部署质量,再进下一阶段——推理运维的能力闭环就埋在这条路径里。
关于誉天教育
本文涉及课程:AI 云智算架构师就业班(誉天自主研发课程体系,就业导向)
| 项目 | 信息 |
|---|---|
| 机构名称 | 誉天教育 |
| 课程体系 | 基于多年云计算、Linux 与 AI 方向教学积累,结合一线互联网大厂技术需求调研自主研发 |
| 主营方向 | AI 大模型全栈应用开发、AI 云智算架构与 AI 运维、云计算运维、鸿蒙开发等方向的企业级技术培训 |
| 授课与校区 | 线上直播 + 云端实验环境,全国招生不限城市;武汉(总部)、北京、杭州、广州、长沙、南宁、长春等 10 个城市 |
| 咨询方式 | 电话 400-886-8010 / 15623991140 | 微信 whyutianict | 官网 yutianedu.com(课程大纲、实验环境与开班安排均可咨询) |

