Multiverse发布了一篇论文，详细介绍了一种将大型语言模型剪枝重新表述为约束二进制优化问题并映射到伊辛玻璃的方法。通过将Transformer块视为具有由损失海森矩阵导出的成对耦合的自旋，该方法无需迭代基准测试即可识别最优的块移除配置。

  • 该方法在校准数据集上计算一次海森矩阵以捕捉块之间的相互作用，使能量计算能够作为模型质量的代理指标。
  • 它利用经典和量子启发式求解器在配置空间中寻找低能态，从而高效地搜索数十亿种组合。
  • 在Llama-3.3-70B-Instruct上实现50%压缩率时，该方法在MMLU上比最佳竞争的块移除基线高出近23个百分点。
  • 该方法可推广到NVIDIA-Nemotron-3-Nano-30B-A3B-FP8等异构架构，通过识别非连续移除模式超越基线。

作者认为，探索低能激发态而非仅基态通常能产生更优的剪枝模型，特别是在块相互作用至关重要的深度压缩场景中。