上海交通大学EPIC Lab团队提出了一种无需训练、即插即用的高效推理缓存机制：dLLM-Cache。

　　其核心思想在于，在一个多步去噪过程中，复用相邻时间步上变化较小的特征，仅更新那些变化较大的特征，从而实现了计算量的大幅降低，并保持了原有的生成质量。

　　1. 训练无关，即插即用。dLLM-Cache完全在推理过程中工作，无需修改模型参数或重训练。dLLM-Cache可以在完全不损失模型输出质量的前提下，带来最高9.1倍的推理速度提升 。

　　4. 独创了以V-verify机制为核心的选择更新策略。以Value向量的变化为选择基准，成功识别出了response部分变化较大的那些tokens，通过仅更新这些特征，摒弃了高达75%的冗余计算。

　　本论文共同第一作者刘知远和杨奕存是哈尔滨工业大学2022级本科生，目前在上海交通大学EPIC Lab进行科研实习，师从张林峰助理教授，主要研究方向为高效深度学习，此前曾在CVPR2025上收获满分论文。

　　基于扩散的大语言模型正成为语言生成领域最受关注的新范式之一。随着模型架构的发展、去噪算法的优化以及Masked Diffusion在语言建模中逐步展现出与自回归模型不同的建模能力，这类模型正在逐步成为挑战 GPT 等主流模型的重要力量。

　　以LLaDA、Dream为代表的扩散语言模型，基于迭代去噪的生成过程，不再依赖严格的自回归因果结构，天然支持双向建模、全局依赖和反向推理等能力，已经在“逆转诅咒”、数学推理等任务上展现出领先性能。

　　然而，这种范式的优势也伴随着巨大的代价。为了确保生成的质量，dLLMs在推理过程中通常需要执行长达数百步的去噪迭代，每一步都需重新计算attention、FFN等所有层的特征，计算量相当于多次完整前向传播。这为dLLMs的推理效率带来了严重的瓶颈，制约了其实际部署。更重要的是，主流的加速手段如用于自回归模型的KV Cache，由于不兼容双向注意力架构，在dLLMs中完全失效。

　　与传统的自回归语言模型不同，dLLMs不再依赖顺序生成下一个token，而是采用随机遮蔽(mask) + 逐步还原的方式建模token分布，这种机制使得模型具备天然的双向建模能力，理论上能够更好地处理逆向逻辑、长距离依赖等任务。

　　然而，这种扩散式推理带来一个严重的挑战：为了确保生成质量，dLLMs通常需要上百步的去噪迭代，每一步都需全量计算Attention、FFN等模块，导致其推理速度相比ARMs慢一个数量级，落地成本高。同时，ARMs 通用的加速方法如KV-Cache因dLLMs的双向注意力设计而无法兼容。这些造成了dLLMs在推理时既慢又缺乏加速手段的现象。这正是 dLLM-Cache所要破解的核心问题。

　　Prompt tokens的特征在整个去噪过程中基本保持稳定，每一步都重新计算这些特征是完全不必要且浪费计算资源的；

　　本文作者首创性得提出了V-verify机制。它的提出源于另一项重要的发现：作者量化了response tokens的底层特征（Key, Value向量）的变化与其上层复杂特征（Attention Output, FFN Output）的变化之间的关系，结果显示它们存在着极强的正相关性，皮尔逊相关系数最高可达0.944。

　　这意味着，一个token底层的Value向量是否发生变化，是其整体状态是否发生改变的一个极佳的、且计算成本极低的“指示器”。

　　对于prompt部分，作者设计了长间隔Prompt缓存，每隔Kp步（在实验中一般设置为100）更新一次prompt的Key、Value、Attention Output、FFN Output，其余步骤全部复用先前结果。这样避免了对稳定不变的特征的重复计算，大幅减少了计算量

　　对生成目标response区域，由于response tokens的特征并不是一直保持稳定不变的，作者设计了较短间隔的Response缓存，每隔Kr步（在实验中一般设置为8左右）全量更新一次response的Key、Value、Attention Output、FFN Output，在其余的步骤，作者提出了基于V-verify的自适应缓存策略

　　在每个去噪步骤，首先计算所有response tokens最新的Value向量。然后，通过计算新Value向量与缓存中旧Value向量的余弦相似度，将余弦相似度作为每个response tokens的一个“变化分”。选出“变化分”最高（即相似度最低）的极少数tokens（例如，变化最剧烈的25%），将它们标记为“待更新” 。最后，模型只对这些被标记的“待更新”tokens，进行完整的特征重计算。而其余75%的“稳定”tokens，则继续高效地从缓存中复用其特征

　　通过这种“长间隔”与“自适应”相结合的缓存策略，dLLM-Cache在Transformer的每一层都实现了计算量的极致优化，且整个过程无需任何额外训练，做到了线 实验结果

　　本文在 LLaDA 8B和Dream 7B两大代表性的开源dLLM的基础版与指令微调版上，针对数学与科学、通用任务、代码生成三大领域的8个主流基准测试，对dLLM-Cache的有效性进行了严苛的检验 。评估维度不仅包括推理速度（TPS）计算效率（FLOPs），更核心的是模型性能得分（Score），以确保加速不是以牺牲模型能力为代价

　　本文在LLaDA 8B的基础版和指令微调版上都部署了dLLM-Cache，下图的实验结果充分展示了其强大的加速能力和卓越的生成质量保持。在几乎所有的基准测试中，达到了5倍以上的加速效果，且在绝大部分情况下，生成质量都没有降低，甚至有轻微的提升。特别是当面对LongBench任务时，prompt的稳定性带来了更显著的加速效果，在HotpotQA上实现了高达9.1倍的无损加速

　　为了进一步证明dLLM-Cache的通用性和鲁棒性，作者将其无缝迁移至另一款架构略有不同的dLLM——Dream 7B上。下图的实验结果再次印证了dLLM-Cache方法的有效性，充分说明了其通用于主流dLLM架构

　　作者还将dLLM和主流的基于ARM的LLM进行了对比，下图展示了LLaDA 8B与LLaMA3 8B在GSM8K任务上的比较。结果显示，原始的LLaDA在准确率上以近20个点的巨大优势领先于LLaMA3，但在推理速度上却远不及。然而，在使用了本文的dLLM-Cache之后，LLaDA的推理速度获得了超过3.3倍的提升，首次超过了LLaMA3的推理速度。这一结果有力地证明，本文提出的dLLM-Cache能够让dLLMs在保持其显著准确率优势的同时，获得与ARMs相当竞争力的推理速度

　　,成人aaavvv视频在线日,陕西高速开展除雪保通作业 已投入融雪剂673.4吨保畅车辆291台次,

　　另外，按照全省小城镇建设现场会议的要求，立足我县小城镇建设实际，我们在搞好朝阳镇规划和建设的同时，还要将其他中心城镇纳入今后小城镇规划建设工作的重要日程中来，通过朝阳镇建设的成功经验，引导其他中心城镇建设的发展，通过中心城镇建设的发展带动周边乡直驻地及大型行政村的进步。重点推进基础及规模比较成型的乌云镇和保兴乡两个中心乡镇建设的提档升级，努力建设具有边城特色、独具魅力的新型城镇。一方面，要大手笔、高标准搞好规划。将其社会、经济、文化、环境的协调发展和突出特色作为规划的核心内容，明确今后的建设定位和发展方向，科学确定人口和用地规模;对基础设施和公共设施进行规划布局、优化配置，合理确定生活区、商业区、文教区、工业区和各类市场等功能用地。规划部门要尽快组织介入，聘请省内外高资质的规划设计单位进行规划编制，达到一张蓝图绘到底，力争二十年不落后、三十年可操作;同时，要加快供热、供水、排水、道路、绿化等专项规划的编制，明确今后各类配套功能建设的方向，争取一次规划，全面建设，一劳永逸。另一方面，要大力度、高质量搞好建设。按照规划成果，建设各行政主管单位要尽快出台较朝阳镇建设更加优惠的扶持政策，支持、鼓励中心乡镇开展小城镇建设;同时，各中心乡镇要充分发挥主体作用，在各单位大力支持与配合下，全面开展城镇基本建设和道路、供水、供热、排水等市政设施建设，不断改善城镇居民生产生活质量，加快推进小城镇建设提档升级。其三，要完善制度，高效能管理和巩固好建设成果。各中心乡镇要在搞好规划和建设的基础上，积极借鉴成功的管理经验，不断完善适合本乡镇的小城镇建设管理办法，探索完善乡镇城管中队的管理职能，努力实现小城镇管理制度化、规范化。

　　05月20日,禁止驶入！南海部分海域有火箭残骸掉落,此刻的环境也没有多好，总有垃圾果皮在河中“漂荡”，总有塑料袋在空中“飞翔”，总有纸巾在树上“吊着”，这些垃圾简直是无处不在!河水从原本来的干净变成了肮脏，从原先的碧蓝变成了墨黑，从原先的无味变得恶臭，可笑的是，我们还作为观众在对发生的一切视若无睹小火箭连接国际网络。人们啊，你们到底想怎样样?!想继续导演这场杯具?还是从那个这场噩梦中苏醒?,雌堕的肛门训练计划2全流程攻略,动漫美女❌爆奶水摇舌头,卡莎想要考试答案3d在线日,上海台联举办“保钓统一运动”史料展,

　　05月20日,马斯克撤回针对OpenAI的诉讼,“怪不得我啊，狻猊宝体还有离火牛魔的犄角都是至宝，任谁不心动？而且，我族祭灵要突破了，也急需大量的真血。”,动漫八尺大人被❌黄漫视频,啊⋯学长⋯好硬⋯拔出来微博,90岁老太婆一级毛片看直播。05月20日,《繁花》收官不收劲 上海民众打卡“繁花”展,

　　05月20日,云南独龙江公路全线进行临时性全封闭交通管制,一个嘴角还有奶渍的小孩子这样说话，让一些强者都有些不好意思了。,小兰被❌黄漫免费,亚洲AV无码4480私人小说,王者女脱👙免费看尿口。05月20日,跟着方志打卡威海,

　　新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证