Tasty Recipes

EMNLP 2026 | 大模型推理如何再快一步?SpecTr-GBV统一多草稿与块验证,加速推测解码

By 新闻播报 | 2026-06-20 | ★★★★★ (4.9)

Ingredients

  • Main ingredient 1
  • Main ingredient 2
  • Spices and herbs
  • Water/Oil



Instructions

大语言模型的生成过程天然具有自回归特性,即模型基于已有上下文逐 token 预测并生成后续内容。随着模型规模不断增大,单步前向计算的开销也随之增加,使得自回归解码面临较高的推理延迟。推测解码(Speculative Decoding, SD)通过引入一个更轻量的 draft model 预先生成候选 token,再由 target model 对这些候选进行并行验证,从而减少昂贵的 target model 前向计算次数,已成为加速大语言模型推理的重要技术路线。但现有方法通常沿着两条路线分别优化:一类通过生成多个 draft sequence 扩大候选空间,另一类通过 block verifi