你每次问 AI，都在消耗昂贵的 GPU 内存

当你向 AI 发送一条消息，服务器上的 GPU 要为你的这条对话存储一份"记忆草稿"——技术上叫 KV Cache（键值缓存）。

问题来了：KV Cache 会随着对话变长而不断增长，而且每个用户的增长速度和长度都不一样。

vLLM 的诞生：伯克利的工程突破

2023 年，加州大学伯克利分校的研究团队发布了 vLLM。它的核心创新只有一个词：PagedAttention（分页注意力）。

这个名字来自操作系统里的"虚拟内存分页"技术——借鉴了 50 年前解决内存碎片的方法，把它用在了 AI 推理上。

用几行代码启动 vLLM

看看真实使用 vLLM 的代码长什么样：

from vllm import LLM, SamplingParams

llm = LLM(
    model="meta-llama/Llama-3-8B",
    tensor_parallel_size=2
)

params = SamplingParams(
    temperature=0.8,
    max_tokens=256
)

outputs = llm.generate(
    ["什么是 PagedAttention？"],
    params
)
          

测一下你的理解

旧方式：给每人预留一整间书房

想象一座图书馆为每位读者预留了一间独立书房。有人要读一本薄书，给了他一间大书房；有人要读百科全书，书房又不够用了。大多数书房半空着，偶尔有人书放不下。

这就是传统 LLM 框架的 KV Cache 分配策略——预分配固定大小的连续内存块，要么浪费，要么溢出。

KV Cache 如何被切分成"页"

vLLM 把 GPU 显存划分为固定大小的 Block（块），每个块存储 16 个 token 的 KV 数据。

块管理器的真实代码

这是 vLLM 源码中 KV Cache 管理器的核心数据结构（来自 vllm/v1/core/kv_cache_manager.py）：

@dataclass
class KVCacheBlocks:
    """块分配结果，是调度器和
    KV Cache 管理器之间的接口"""
    blocks: tuple[
        Sequence[KVCacheBlock], ...
    ]

    def get_block_ids(self) ->
        tuple[list[int], ...]:
        return tuple(
            [blk.block_id for blk in group]
            for group in self.blocks
        )
          

内存分配协商：调度器 vs 块管理器

当一个新请求到来时，调度器和块管理器如何协商分配内存：

理解检验

传统批处理：等待所有人到齐才发车的班车

传统 批处理就像一辆班车：等所有座位坐满（或等时间到）才出发，所有乘客一起到达目的地，然后全部下车，再等下一批。

问题在于：LLM 生成的回答长度差异巨大。有人问"今天几号？"——2个字就够。有人要写一篇文章——1000个字。短答案的用户早就等好了，却不得不等长答案的用户。

一条请求经历了什么？

从 API 调用到生成第一个 token，数据流经 vLLM 的各个组件：

调度器：谁先谁后的决策者

vLLM 的调度器 (vllm/v1/engine/llm_engine.py) 核心工作是决定每次 GPU 迭代处理哪些请求：

class LLMEngine:
  def __init__(self, vllm_config, ...):
    # 输入处理：文本 → tokens
    self.input_processor =
        InputProcessor(vllm_config)

    # 输出处理：tokens → 文本
    self.output_processor =
        OutputProcessor(
          renderer.tokenizer,
          log_stats=self.log_stats,
        )

    # 核心引擎：管理 GPU 工作
    self.engine_core =
        EngineCoreClient.make_client(
          vllm_config=vllm_config,
        )
          

前缀缓存：重用已经算过的内容

前缀缓存是 vLLM 另一个重要优化。当多个用户的请求有相同的系统提示时，第一个用户计算过的 KV Cache 可以直接给后续用户用。

架构思考

就像一本大书由多人同时翻译

想象要翻译一部百万字的百科全书，一个人翻译需要 10 年。但 10 个人每人翻 10 万字，只需 1 年。

张量并行就是这个道理：把模型的每一层神经网络切分成若干份，分配给多张 GPU 同时计算，最后把结果合并。

vLLM 支持多种并行策略

不同场景选不同策略，就像运货可以选轿车、货车或集装箱船：

配置多 GPU 推理

from vllm import LLM

# 4 张 GPU 张量并行
llm = LLM(
  model="meta-llama/Llama-3-70B",
  tensor_parallel_size=4,
)

# 或使用 OpenAI 兼容 API 服务
# python -m vllm.entrypoints.openai.api_server \
#   --model meta-llama/Llama-3-70B \
#   --tensor-parallel-size 4 \
#   --port 8000
          

量化：用更少显存跑更大模型

量化让你在有限显存中跑更大的模型，vLLM 支持多种量化格式：

架构决策练习

生产环境的完整系统结构

一个真实的 vLLM 生产部署不只是启动一个进程，它是一套完整系统：

你需要监控的三个核心指标

发现问题：vLLM 服务为什么突然变慢？

当你的 AI 助手陷入 bug 循环说"不知道为什么变慢了"，这是你的调试清单：

一个请求的完整生命周期对话

最终测验：从瓶颈到解决方案