一位Reddit用户建议将Anthropic的“J space”概念应用于模型压缩技术。该提案涉及使用Jacobian矩阵来识别对最终输出影响最大的激活值，以实现更有效的pruning、merging和distillation。

  • 该方法旨在通过关注有影响力的向量变化，在压缩密集模型的同时不破坏推理能力。
  • 它可能允许对较大模型的推理信号进行denoising或放大，以便转移到较小的模型。
  • 该方法可能会降低将前沿模型distilling为较小变体时的计算强度。

作者希望这些想法能帮助本地AI社区，尽管他承认需要专家验证。