Пользователь Reddit предлагает применить концепцию "J space" от Anthropic к методам сжатия моделей. Предложение включает использование матриц Якоби для выявления активаций, наиболее влияющих на конечные выходы, для более эффективного pruning, merging и distillation.
- Подход направлен на сжатие плотных моделей без разрушения способностей к рассуждению за счет фокусировки на значимых изменениях векторов.
- Это может позволить шумоподавление или усиление сигнала рассуждений больших моделей для передачи меньшим моделям.
- Метод может снизить вычислительную интенсивность при distillation передовых моделей в их меньшие варианты.
Автор надеется, что эти идеи помогут локальному сообществу ИИ, хотя и признает необходимость экспертной проверки.