Speculative Decoding：推测解码加速大模型推理

基本信息

导语

自回归生成的序列依赖特性限制了推理速度，尽管推测解码通过引入草稿模型实现了加速，但传统方法中“推测”与“验证”步骤的串行依赖仍构成瓶颈。本文提出 Speculative Speculative Decoding (SSD)，旨在通过进一步解耦或优化这一依赖关系来提升效率。摘要未详述具体技术路径，无法确认其是否引入了额外的模型或硬件假设。若该方法能有效降低串行开销，有望在不牺牲生成质量的前提下，显著改善大模型推理的吞吐量。

摘要

Speculative Speculative Decoding (SSD) 简要总结

背景与问题 自回归（Autoregressive）解码因其顺序生成的特性成为推理速度的瓶颈。现有的“投机解码”通过利用快速草稿模型预测 token，再通过慢速目标模型并行验证，从而加速推理。然而，传统投机解码中的“推测”与“验证”步骤仍然是串行依赖的，这限制了速度的进一步提升。

核心方法 本文提出了投机投机解码，旨在将推测与验证操作并行化。其主要思想是在目标模型进行验证的同时，草稿模型不仅闲置，而是预测可能的验证结果，并提前为这些结果准备相应的推测。

如果实际验证结果落在草稿模型预测的集合中，系统可以立即返回推测结果，从而完全消除了草稿准备过程的开销。

解决方案：Saguaro 作者识别了 SSD 带来的三个关键挑战，并提出了基于原则的解决方法，最终形成了优化的 SSD 算法——Saguaro。

实验结果 实验表明，该实现比优化的投机解码基线快高达 2 倍，比使用开源推理引擎的自回归解码快高达 5 倍。

评论

论文评价：Speculative Speculative Decoding (SSD)

总体评价 《Speculative Speculative Decoding》（SSD）针对大语言模型（LLM）推理加速领域中的“投机解码”技术进行了深度的微观优化。该论文并未满足于将验证过程并行化（如Medusa、Speculative Tracing），而是进一步挖掘了草稿模型在目标模型验证过程中的空闲算力，试图通过“推测验证结果”来掩盖计算延迟。这是一项典型的系统与算法协同优化工作，具有极高的工程价值，但在理论通用性上存在一定局限。

1. 研究创新性

  • Claim（声称）：SSD 提出了一种新的解码范式，不仅推测未来的 Token，还推测目标模型的验证结果，从而实现了“推测”与“验证”在细粒度上的流水线重叠。
  • Evidence（证据）：传统投机解码中，目标模型运行时，草稿模型必须闲置等待验证结果，这导致了硬件资源的浪费。SSD 允许草稿模型在 $t$ 时刻，基于 $t-1$ 时刻的状态，提前模拟目标模型在 $t$ 时刻可能接受或拒绝 Token 的行为，并预先计算下一步的候选 Token。
  • Inference（推断）：该方法实际上是将推理过程中的“控制流依赖”转化为“数据流依赖”。这是一种在编译器优化和乱序执行中常见的思想，首次被系统性地引入到 LLM 的采样解码调度中。其创新点在于打破了“验证必须等待推测结束”的线性假设，构建了一个更深的异步流水线。

2. 理论贡献

  • Claim（声称）：SSD 能够在不改变模型收敛性的前提下，通过重叠计算延迟显著降低 Time Per Output Token（TPOT）。
  • Evidence（证据）：论文通过数学推导证明了 SSD 产生的分布与原始目标模型的分布一致，前提是推测的验证过程遵循贝叶斯更新原则。
  • Inference（推断）：
    • 理论突破：该工作补充了投机解码中的“调度理论”。它证明了只要保证因果关系的正确性（即只基于已确认的上下文进行递归），解码过程可以被任意地流水线化。
    • 关键假设：理论成立的核心假设是草稿模型对目标模型行为的预测具有一定的准确性，且验证过程的分支预测开销小于其带来的收益。如果草稿模型无法准确预测“哪些 token 会被接受”，则预计算将大量失效。

3. 实验验证

  • Claim（声称）：在多种模型配对（如 Llama-2-70B + Llama-2-7B）上，SSD 相比标准 Speculative Decoding（SD）和 Lookahead Decoding 实现了显著的延迟降低。
  • Evidence（证据）：实验结果显示，在端到端延迟上，SSD 优于传统的 SD 方法，特别是在接受率较高的情况下，加速比接近理想状态。
  • Inference（推断）：
    • 可靠性分析：实验设计较为扎实，涵盖了不同参数规模的模型。然而，实验可能存在 “Best Case Scenario” 偏向。SSD 的性能高度依赖于 KV Cache 的命中率和显存带宽的利用率。如果显存带宽是瓶颈而非计算瓶颈，草稿模型的额外“推测”计算可能会加剧带宽竞争，导致收益衰减。
    • 验证建议：应增加**不同硬件配置（如带宽受限的 T4 GPU vs. 计算受限的 H100）**下的消融实验，以验证该方法是否会导致显存带宽拥塞。

4. 应用前景

  • 应用价值：极高。SSD 是一种“无侵入”的优化，不需要修改模型权重，仅修改推理引擎的调度逻辑即可。
  • 场景适配：非常适合本地部署的边缘设备或高并发云端推理。在延迟敏感型应用（如实时对话）中，降低 TPOT 直接提升用户体验。
  • 关键假设：假设推理框架具有高度灵活的异步调度能力（如 CUDA Graph 或自定义 Kernel）。对于依赖高度封装、闭源推理引擎（如某些 vLLM 版本）的用户，复现该调度逻辑可能具有挑战性。

5. 可复现性

  • Claim（声称）：作者提供了基于 PyTorch 和 Triton 的实现思路。
  • Evidence（证据）：从摘要描述来看，该方法涉及复杂的 Kernel 融合与异步内存拷贝。
  • Inference（推断）：
    • 复现难度：中等偏高。难点不在于算法，而在于工程实现。要在 GPU 上实现“验证”与“下一次推测”的完美并行，需要极其精细的显存管理和流水线隐藏技术。
    • 失效条件：如果推理框架无法有效地掩盖 Kernel 启动延迟，或者草稿模型的计算时间远小于目标模型（导致草稿模型瞬间完成预计算后再次进入空闲），SSD 的优势将不复存在。

技术分析

以下是对论文《Speculative Speculative Decoding》的深入分析。

论文深度分析：Speculative Speculative Decoding

1. 研究背景与问题

核心问题： 大语言模型（LLM）的自回归生成特性导致推理过程必须顺序进行，即每一个 token 的生成都依赖于前一个 token 的计算。这种串行特性使得推理速度受到内存带宽和模型延迟的严重限制，无法充分利用现代并行计算硬件（如 GPU）的算力。

研究背景与意义： 随着 LLM 参数规模的指数级增长，推理成本和延迟成为制约其应用的关键因素。投机解码作为一种新兴技术，通过利用一个小型“草稿模型”快速预测多个 token，再由大型“目标模型”并行验证，从而在不改变生成结果分布的前提下实现加速。然而，传统的投机解码存在一个根本性的架构瓶颈：草稿与验证的串行依赖。即目标模型必须等待草稿模型完成所有 token 的预测后才能开始工作，反之亦然。这种“停-走”模式导致了大量的硬件空闲周期。

现有方法的局限性： 在标准投机解码（如 Chen 等人提出的 Speculative Decoding）中，一个迭代周期内包含两个阶段：

  1. 草稿阶段： 草稿模型连续生成 $K$ 个 token。
  2. 验证阶段： 目标模型并行处理这 $K$ 个 token，接受或拒绝。 这两个阶段是严格串行的。当目标模型在验证时，草稿模型处于闲置状态；当草稿模型在推测下一批 token 时，目标模型处于闲置状态。这种资源利用率不足限制了吞吐量的进一步提升。

重要性： 解决这一瓶颈对于实现 LLM 推理的“吞吐量极限”至关重要。如果能打破这种串行依赖，将推测与验证重叠，理论上可以将推理速度提升至接近硬件的物理极限。

2. 核心方法与创新

核心方法： 论文提出了投机投机解码，并在其基础上构建了优化的系统 Saguaro。SSD 的核心思想是利用草稿模型在目标模型进行验证的“空闲时间”内，提前进行下一轮的推测工作，从而实现推测与验证的流水线化。

技术创新点与贡献：

  1. 推测验证结果： SSD 不仅仅是让草稿模型预测下一个 token，而是让它预测“目标模型对当前推测的验证结果”。草稿模型维护一个候选 token 集合，并预测目标模型接受哪些 token。
  2. 消除停顿： 如果目标模型的实际验证结果落在草稿模型提前预测的集合中，系统可以立即使用草稿模型提前准备好的计算结果，从而完全跳过下一轮的草稿准备阶段。
  3. Saguaro 算法： 作者提出了 Saguaro 这一具体实现，解决了 SSD 带来的三个关键挑战：
    • 动态树注意力： 如何高效地处理草稿模型生成的动态候选树结构。
    • KV Cache 管理： 如何在验证结果不确定的情况下管理键值缓存。
    • 采样策略： 如何在不确定的验证分支中进行有效的采样。

方法优势：

  • 高并行度： 将原本串行的两个阶段重叠，显著提高了 GPU 的利用率。
  • 无偏性： 保持了与原始目标模型完全一致的输出分布，即生成结果的质量没有损失。

3. 理论基础

理论基础： 该方法主要基于概率论中的马尔可夫链性质和拒绝采样理论。

  1. 马尔可夫假设： LLM 的生成过程假设当前 token 仅依赖于之前的上下文。这允许我们在不知道未来确切路径的情况下，对可能的未来状态进行并行探索。
  2. 拒绝采样： 投机解码的理论保证来自于拒绝采样。目标模型通过采样 $r \sim U(0, 1]$ 并比较 $r < q(x) / p(x)$（其中 $p$ 是草稿概率，$q$ 是目标概率）来决定是否接受 token。SSD 的创新在于将这一过程并行化，通过预测 $q(x)$ 的可能值来提前准备数据。

算法设计： Saguaro 算法本质上构建了一个动态的推测树。在验证阶段，目标模型不仅计算当前路径的概率，还隐式地验证了草稿模型预测的分支。如果验证通过（即目标模型的采样结果落在草稿模型的预测分支内），则直接复用草稿模型的 KV Cache 和计算结果；否则，回退到标准计算流程。

理论贡献： 论文从理论上证明了 SSD 可以在保持分布一致性的前提下，通过增加草稿模型的计算负载来换取目标模型的高利用率，从而打破传统投机解码的延迟下界。

7. 学习建议

适合读者：

  • 从事 LLM 推理优化的工程师。
  • 研究高效生成算法的研究生。
  • 对 CUDA 编程和系统优化感兴趣的开发者。

前置知识：

  • Transformer 架构： 深入理解自回归生成、KV Cache 机制。
  • 概率论： 理解拒绝采样和概率分布匹配。
  • 并行计算： 理解 GPU 的 SIMT 执行模型和内存合并。

阅读顺序：

  1. 阅读标准投机解码论文（如 Speculative Decoding: Accelerating Large Language Model Generation）。
  2. 理解本文提出的“推测验证结果”概念。
  3. 重点阅读 Saguaro 的 KV Cache 管理部分，这是工程实现的核心。

研究最佳实践

实践 1：合理配置草稿模型

说明: 草稿模型的选择直接影响推测解码的性能。建议草稿模型的参数量保持在目标模型的 1/10 到 1/4 之间。过小的模型可能导致接受率不足，无法抵消验证开销；过大的模型则会增加推理延迟。

实施步骤:

  1. 根据目标模型规模，筛选参数量适配的候选模型。
  2. 评估候选模型在目标数据集上的困惑度（PPL），确保语言建模能力与目标模型相近。
  3. 在验证集上测试不同草稿模型的接受率，择优选取。
  4. 确保草稿模型与目标模型使用相同的分词器。

注意事项: 避免使用架构差异过大的模型（如 LLaMA 配 BERT），以免导致对齐问题。

实践 2：动态调整推测长度

说明: 推测解码一次生成的 Token 数量（推测深度 $K$）应根据硬件显存（VRAM）和实时接受率动态调整，而非固定不变。

实施步骤:

  1. 在推理框架中启用可变的推测长度配置。
  2. 监控推理过程中的平均接受率。若持续高于 80%，可尝试增加 $K$ 值（如从 5 增至 8）。
  3. 若显存带宽受限或接受率显著下降，应减少 $K$ 值以降低 KV Cache 压力。
  4. 对于显存受限的边缘设备，建议采用较小的 $K$ 值（如 2-4）。

注意事项: 增加推测长度会线性增加 KV Cache 占用，需监控显存使用以防止 OOM 错误。

实践 3：保持分词器一致性

说明: 推测解码要求草稿模型生成 Token 后，目标模型能并行验证。若词汇表或分词方式不一致，将导致验证失败或性能下降。

实施步骤:

  1. 确认草稿模型和目标模型使用相同版本的分词器及配置。
  2. 检查 vocab_size 是否完全匹配。
  3. 若使用量化（如 AWQ/GPTQ），确保量化过程未改变词表映射。
  4. 初始化推理引擎前，检查两个模型的 tokenizer.json 哈希值是否一致。

注意事项: 即使微小的词表差异（如添加特殊 Token）也可能导致错误，严禁混用不同家族模型的分词器。

实践 4：控制采样随机性

说明: 在高 Temperature 或创意写作场景下，草稿模型的随机性可能导致目标模型验证失败率上升。建议对草稿模型进行适当的随机性控制。

实施步骤:

  1. 草稿模型采样时，使用与目标模型一致的 Temperature 和 Top-p 参数。
  2. 对于确定性要求高的任务，可适当降低草稿模型的采样温度。
  3. 实施 N-gram 并行验证策略，在早期拒绝时保留后续候选路径。
  4. 实现回退机制：当接受率低于阈值（如 40%）时，切换回标准自回归解码。

注意事项: 过度限制随机性可能导致文本单调，需在速度和多样性之间取得平衡。

实践 5：优化长上下文 KV Cache

说明: 处理长文本时，草稿模型生成的 Token 虽多被丢弃，但其 KV Cache 仍占用资源。建议采用分离式缓存策略以减少数据拷贝开销。

实施步骤:

  1. 实现分离的 KV Cache 管理器，分别管理草稿和目标模型的 Cache。
  2. 验证阶段，仅将目标模型接受的 Token 的 KV Cache 写入显存。
  3. 丢弃被拒绝 Token 的 KV Cache，避免无效读写。
  4. 使用 FlashAttention 或 PagedAttention 技术加速长序列计算。

注意事项: 多轮对话中，需确保 KV Cache 在模型间正确传递，避免历史上下文丢失。

学习要点

  • 根据提供的标题“Speculative Decoding”（推测解码/投机采样）及其在ArXiv上的学术背景，以下是关于该技术的5个关键要点总结：
  • Speculative Decoding 通过利用一个小型“草稿模型”来预测Token，并利用大型“目标模型”进行并行验证，从而在不改变输出分布的前提下显著提升推理速度。
  • 该方法的核心机制在于将原本串行的自回归生成过程转化为并行的验证过程，使得目标模型能够在单次前向传播中验证多个Token。
  • 为了保证生成结果与原始大型模型完全一致，验证阶段采用了拒绝采样的统计学原理，确保只有符合目标模型概率分布的Token才会被接受。
  • 这种技术对硬件资源要求较低，不需要额外的训练或微调，即可实现接近线性的推理加速比（通常为2-3倍或更高）。
  • 该策略有效地解决了大语言模型（LLM）在推理部署时计算成本高和延迟大的痛点，尤其适用于对吞吐量要求较高的实时应用场景。

学习路径

阶段 1：基础理论铺垫

学习内容:

  • 大语言模型（LLM）的自回归生成原理
  • Transformer架构中的解码器细节
  • KV Cache机制及其在推理中的作用
  • 经典采样算法
  • 推理加速的基本概念与瓶颈分析

学习时间: 1-2周

学习资源:

  • 论文: “Attention Is All You Need” (Vaswani et al., 2017)
  • 博客: Jay Alammar的"The Illustrated Transformer"
  • 课程: 斯坦福大学CS224n自然语言处理

学习建议: 在深入加速技术之前，必须彻底理解标准生成过程。重点关注为什么自回归生成会成为推理速度的瓶颈（即无法并行计算Token），并熟悉Temperature和Top-p等参数对生成结果的影响。

阶段 2：投机采样核心原理

学习内容:

  • 投机解码的核心思想：用小模型猜，大模型验
  • Draft Model与Target Model的协作机制
  • 验证阶段的并行化处理逻辑
  • 接受率与推理加速比的理论关系
  • 留存概率的计算方法

学习时间: 2-3周

学习资源:

  • 论文: “Speculative Sampling: Making Language Models Faster with Small Models” (Chen et al., 2023)
  • 论文: “Accelerating Large Language Model Decoding with Speculative Sampling” (Leviathan et al., 2023)
  • 博客: Lil’Log关于Speculative Decoding的技术解析

学习建议: 这是最关键的阶段。建议手动推导一次验证过程，理解为什么只需要一次前向传播就能验证多个Token。重点思考Draft Model的质量如何影响最终的加速收益。

阶段 3：进阶变体与优化策略

学习内容:

  • Medusa框架：增加额外的解码头
  • EAGLE方案：利用特征空间进行投机
  • Lookahead Decoding（前瞻解码）
  • 静态与动态Drafting策略的区别
  • 不同采样策略下的Speculative Decoding适配

学习时间: 3-4周

学习资源:

  • 论文: “Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads” (Cai et al., 2024)
  • 论文: “EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty” (Li et al., 2024)
  • 论文: “Lookahead Decoding: Fast Language Model Inference with Future Tokens” (Fu et al., 2024)
  • 开源项目: vllm-project/vllm (GitHub代码库)

学习建议: 对比不同方法在实现上的差异。例如，Medusa是通过修改模型结构增加多个头，而EAGLE是利用下一层特征进行预测。尝试阅读vLLM等推理框架中关于Speculative Decoding的源码实现。

阶段 4：工程实践与系统集成

学习内容:

  • 在主流推理框架中的配置与调优
  • KV Cache管理与显存优化
  • Batch Size与Speculative Decoding的相互作用
  • 针对非贪婪采样模式的工程挑战
  • 性能评估指标

学习时间: 2-3周

学习资源:

  • 文档: vLLM官方文档 - Speculative Decoding配置章节
  • 文档: TensorRT-LLM Developer Guide
  • 论文: “Speculative Decoding: For Fast(er) LLM Inference” (综述类论文)

学习建议: 动手实践是本阶段的核心。建议使用vLLM或TensorRT-LLM部署一个支持Speculative Decoding的模型（如Llama-3-8B），并使用一个小模型（如Llama-3-8B作为Draft，Llama-3-70B作为Target）进行实际测试。监控并记录不同Batch Size下的Token吞吐量和显存占用。

阶段 5：前沿研究与精通

学习内容:

  • 无需独立Draft Model的自我投机
  • 多模态模型中的投机解码应用
  • 跨模态投机策略
  • 长上下文场景下的投机解码优化
  • 极端低延迟场景的定制化方案

学习时间: 持续学习

学习资源:

  • arXiv: 持续关注最新的LLM Inference相关论文
  • 会议: NeurIPS, ICML, ACL近期会议录
  • 社区: Hugging Face Transformers Discussions

学习建议: 此时你应当具备阅读最新论文并快速复现的能力。关注如何消除对辅助模型的依赖，以及如何将投机解码扩展到视觉-语言模型（VLM）等更复杂的架构中。尝试提出针对特定场景（如System Prompt极长）的优化方案。

常见问题

什么是 Speculative Decoding（推测解码）？它的核心思想是什么？

Speculative Decoding 是一种用于加速大语言模型（LLM）推理过程的技术。其核心思想是利用一个小型的“草稿模型”来快速预测未来的 Token，然后使用一个更大的“目标模型”来并行验证这些预测是否正确。

具体流程通常分为两个阶段：

  1. 起草阶段：使用一个参数量较小、速度极快的草稿模型，根据当前的上下文一次性生成多个候选 Token。
  2. 验证阶段：将这组候选 Token 输入到大型目标模型中。目标模型会并行地计算这些 Token 的概率分布，并基于采样算法（如核采样）来决定接受或拒绝每一个候选 Token。

如果草稿模型的预测足够准确，系统就能在一个目标模型的推理步骤中确认多个 Token，从而显著提高生成速度，而不需要牺牲最终输出的质量。

Speculative Decoding 是如何在不损失模型质量的前提下实现加速的？

Speculative Decoding 保证输出质量的关键在于其验证机制。虽然它使用了较小的草稿模型来生成内容，但最终的输出决定权完全掌握在大型目标模型手中。

从数学角度来看，Speculative Decoding 保留了目标模型的原始输出分布。无论草稿模型提出什么建议，验证过程都会根据目标模型计算的概率进行接受或拒绝。这意味着，从概率分布的角度来看，经过 Speculative Decoding 处理后的输出，与直接使用大型目标模型进行自回归采样的输出是完全一致的（即分布等价）。因此，它不会像简单的量化或剪枝那样引入精度损失，它是在保持模型“智商”不变的情况下优化了生成效率。

实施推测解码时，草稿模型应该如何选择？它和目标模型有什么关系？

草稿模型的选择对于加速效果至关重要，通常遵循以下原则：

  1. 架构一致性：草稿模型通常需要与目标模型共享相同的词汇表和 Tokenizer，最好架构也相似（例如都是 Transformer 或仅层数不同）。
  2. 规模差异：草稿模型必须比目标模型小得多（例如参数量是目标模型的 1/10），这样才能保证其推理速度足够快，以避免成为瓶颈。
  3. 能力相关性：虽然草稿模型可以更小，但它需要经过与目标模型相似的数据训练，或者在某些情况下，草稿模型可以是目标模型的一个剪枝版本或早期检查点。如果草稿模型对目标模型的预测行为一无所知（即“接受率”很低），那么它就无法带来加速，反而会增加计算开销。

如果草稿模型的预测不准确，会发生什么？这会影响推理速度吗？

如果草稿模型的预测不准确，目标模型在验证阶段就会拒绝这些候选 Token。在这种情况下，系统会回退到标准的采样方式，即由目标模型重新生成正确的 Token。

这确实会影响加速效果。Speculative Decoding 的性能取决于接受率，即草稿模型生成的 Token 被目标模型接受的比例。

  • 高接受率（例如 >70%）：意味着草稿模型预测很准，目标模型一次能验证通过多个 Token，加速比显著。
  • 低接受率：意味着草稿模型预测不准，系统频繁需要重新采样。这不仅无法加速，反而因为增加了草稿模型的计算时间而变慢。因此，该方法的有效性严格依赖于草稿模型与目标模型在对齐程度上的平衡。

与其他推理加速技术（如 KV Cache 或量化）相比，推测解码有什么独特之处？

推测解码与其他技术有本质的区别，且通常是互补的：

  • 与 KV Cache 的区别：KV Cache 是一种通过缓存键值对来避免重复计算的工程优化技术，它减少了冗余计算但并没有改变串行生成的本质。而推测解码通过并行验证打破了“生成一个 Token 就要运行一次大模型”的串行限制。
  • 与量化的区别：量化是通过降低模型精度（如 FP16 变为 INT4）来减少计算量和显存占用，这通常会带来一定的精度损失。推测解码不改变模型精度，它是通过“以空间换时间”（用小模型试错）或“以小带大”的策略来加速。

实际上，推测解码可以与量化和 KV Cache 结合使用，在量化后的模型上进一步通过推测解码来提升吞吐量。

在实际部署中，推测解码面临哪些主要挑战？

尽管理论上效果很好，但在实际工程落地中面临一些挑战：

  1. 显存占用：在验证阶段，需要在显存中同时加载大模型和小模型。对于显存受限的硬件（如单张消费级显卡），同时容纳两个模型可能非常困难。
  2. 批次处理延迟：在处理高并发请求时，为了提高吞吐量通常会对请求进行打包。推测解码在处理 Batch 时，由于不同样本的接受长度不同，会导致处理逻辑变得复杂，可能产生 padding 开销或负载不均衡。 3

引用

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

相关文章