Исследователи изучали, можно ли понять отдельные веса в нейронных сетях глобально по всему распределению обучения, характеризующему моменты их значимости. Они представили автоматизированный конвейер LLM, который генерирует и проверяет описания функций весов на человеческом языке для отложенного текста.
- Исследование сравнило два спайс-трансформера и два плотных трансформера для измерения доли интерпретируемых весов.
- Значительная доля весов модели спайс-трансформера может быть интерпретирована, причем 12–31% имеют одно короткое описание, определяющее их назначение.
- Разрыв в интерпретируемости между спайс- и плотными моделями увеличивается при отбрасывании ненадежных описаний.
Результаты демонстрируют, что отдельные параметры в спайс-трансформерах более пригодны для механистической интерпретации, чем те, что в плотных архитектурах.