ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

Decoding Large Language Diffusion Models with Foreseeing Movement

Decoding Large Language Diffusion Models with Foreseeing Movement 文章总结与翻译一、主要内容本文聚焦大型语言扩散模型(LLDMs)的解码顺序优化问题。LLDMs具备并行推理和可控生成的优势,但解码顺序对推理性能高度敏感,现有启发式方法仅关注局部信息而忽略长期影响。为此,作者提出两种解码方法:预见解码方法(FDM):融合局部置信度(模型对当前token预测的不确定性)和全局置信度(token解码对未来的影响),通过两阶段搜索策略(先按局部置信度筛选候选token,再结合全局置信度决策)优化解码顺序,理论上证明其与自然分布的KL散度更低。加速版预见解码方法(FDM-A):基于解码过程中局部与全局置信度决策的一致性分析,将解码分为探索、平衡和加速三阶段,仅在关键步骤(上下文不足或边界场景)启用FDM,其余阶段通过局部置信度并行解码,平衡性能与效率。实验在GSM8K、HumanEval等4个基准数据集和4种LLDM架构上验证,FDM持续优于启发式基线,且搜索宽度越大性能越好(体现推理时缩放特性);FDM-A在性能损失极小的情况下实现3倍以上加速,显著优于现有动态解码方法。二、创新点首次明确LLDMs解码的局部与全局置信度双维度,提出融合两者的解码框架,突破传统启发式方法仅依赖局部信息的局限。设计FDM的两阶段搜索策略,通过动态剪枝和Top-K筛选压缩搜索空间,兼顾优化效果与计算可行性,且理论证明其分布拟合优势。提出FDM-A的自适应阶段划分机制,基于置信度反馈动
返回列表