Исследователи предлагают использовать метрики на основе спектральной формы, полученные из теории тяжелохвостой саморегуляризации, для решения проблем управления и квантификации больших языковых моделей в масштабе. Этот подход использует информацию о форме эмпирической спектральной плотности весов в качестве компактной сигнатуры, которая захватывает внутренние свойства предварительно обученных моделей, оставаясь устойчивой во время постобучения.

  • Метрика не требует данных, вычислительно эффективна и инвариантна к масштабу, что позволяет проводить практический анализ в больших масштабах.
  • Для бенчмаркинга спектральных и неспектральных метрик по моделям и задачам нижестоящего уровня был использован курируемый корпус основных семейств открытых LLM.
  • Спектральная сигнатура поддерживает отслеживание происхождения моделей, неконтролируемую кластеризацию похожих моделей и квантификацию производительности модели.

Предложенный метод предоставляет значимый прокси для широких тенденций производительности, позволяя эффективно организовывать, сравнивать и анализировать большие коллекции моделей.