В данной статье предлагается улучшенный метод структурированного сжатия для больших языковых моделей, который адаптирует адаптивное удержание признаков (AFR) для преодоления проблем с гетерогенными оценками сжатия, потерей информации о знаке и влиянием выбросов.
Подход сочетает степенное преобразование для выравнивания нелинейного распределения, агрегацию оценок с сохранением знака и удаление выбросов на основе перцентилей. Эксперименты на Llama-3-8B, Vicuna-v1.5-13B и LLaVA-v1.5-13B демонстрируют, что метод сохраняет точность, сопоставимую с несекретарным сжатием, при этом обеспечивая практическое ускорение вывода.
Авторы считают это важным, поскольку оно позволяет структурированному сжатию сохранять преимущества в точности от несекретарных методов, одновременно предоставляя выигрыш в эффективности вывода, присущий структурированной разреженности.