上海交通大学邓实验室的研究人员引入了多块扩散语言模型（MBD-LMs），通过并发解码一组连续的多块来实现块间并行，从而扩展单块扩散模型。该方法在训练后阶段使用多块教师强制（MultiTF）来弥合训练状态与推理之间的差距，并结合基于块缓冲区机制的优化解码算法。

  • MBD-LMs利用多块教师强制，在随机噪声调度器的条件下，对以干净前缀为条件的有界噪声组进行训练。
  • 块缓冲区机制保留了前缀缓存复用，并保持输入形状静态，从而将并行性转化为墙钟时间的加速。
  • MBD-LLaDA2-Mini 将每次前向传递的平均令牌数（TPF）从 3.47 提升至 6.19，并将平均准确率从 79.95% 提升至 81.03%。
  • 当与 DMax 结合时，MBD-LLaDA2-Mini-DMax 在数学和代码基准测试上仅出现 1.02% 的准确率下降，同时达到 9.34 的平均 TPF。

这项工作通过将训练分布与推理状态对齐，显著提升了解码吞吐量，使得多块扩散的实际执行成为可能。