LLM 服务
不用模型，也能学会服务这套机械装置。
고급 · 课时 25 · 实验 7
课程大纲
推理服务为什么和训练不同
- prefill 和 decode 是两件事 reading
- 测验：推理服务的指标 quiz
token 流式与 SSE
- 流式为什么改变了体验 reading
- 亲手实现一个 token 流式服务器 lab
- 测验：流式 quiz
批处理(连续批处理)与排队
- 静态批处理丢掉的东西 reading
- 连续批处理调度器的模拟 lab
- 测验：批处理 quiz
模型服务器选型与可复现的比较
- 先把测量契约定死，再谈工具叫什么 reading
- 测验：模型服务器选型 quiz
GPU 显存估算与量化
- 用手立一份显存预算 reading
- 做一个 KV 缓存显存估算器 lab
- 测验：显存估算 quiz
KV 缓存装不进 GPU 时
KV 感知路由与分离式服务
- KV 感知路由与分离式服务：请求该发往哪里 reading
- 构建 KV 感知路由器与分离式服务成本计算器 lab
- 测验：KV 感知路由与分离式服务 quiz
网关、限流与成本管理
- 靠请求数控制不住 LLM 的成本 reading
- 做一个带限流与 token 记账的网关 lab
- 测验：网关与成本 quiz
评估与防回归
- 凭感觉换模型会发生什么 reading
- 做一套响应质量的回归测试框架 lab
- 测验：评估与防回归 quiz