研究人员提出使用源自厚尾自正则化理论的基于光谱形状的指标，以解决在大规模上管理和量化大型语言模型的挑战。该方法利用权重经验光谱密度的形状信息作为紧凑签名，捕捉预训练模型的内在属性，同时在后训练期间保持鲁棒性。
- 该指标无需数据、计算高效且对规模不变，使大规模实际分析成为可能。
- 使用精心策划的主要开源 LLM 家族语料库，对模型和下游任务的光谱和非光谱指标进行了基准测试。
- 光谱签名支持跟踪模型谱系、相似模型的无监督聚类以及量化模型性能。
所提出的方法为广泛性能趋势提供了有意义的代理，使得大型模型集合的高效组织、比较和分析成为可能。