← 全部文章

多模态大模型推理加速

vLLM / SGLang、模型量化、投机解码、Visual Token Compression 等推理加速实践。

vLLM 学习笔记(6):引擎初始化
LLM(...) 构造时那条链做了什么,以及 KV cache 能开多少 block 到底是怎么算出来的。
vLLM 学习笔记(5):引擎骨架与源码地图
从 LLM.generate() 往里走,看引擎分成哪几层、三个角色各自住在哪、一条请求有多少种状态。
vLLM 学习笔记(4):PagedAttention
KV cache 的显存到底浪费在哪,分页怎么把浪费从 60-80% 压到 4% 以下。
vLLM 学习笔记(3):调度器
每一步的 token 预算怎么分、装不下时抢谁、抢完的请求怎么回到队列。
vLLM 学习笔记(2):从单请求到批处理
把长度不齐的请求拼进一次前向,以及静态批处理为什么会中途变空、连续批处理改了什么。
vLLM 学习笔记(1):最小的离线示例
从一段最简的离线推理代码出发,讲清一次生成的过程,以及 vLLM 要解决的核心问题。
vLLM 学习笔记(总纲)
以 vLLM 0.30.0 源码为基线,从最简的离线例子出发,逐步搭建 vLLM 的知识体系。