Пользователь на форумах Hugging Face предлагает эксперимент по прогрессивной передаче знаний, в котором студентская модель фиксированного размера (Qwen 4B) последовательно обучается у всё более крупных моделей-учителей, а не напрямую у самой большой из доступных.
- Процесс включает обучение модели на 4B у Qwen 8B или 9B, затем отказ от этого учителя и обучение у Qwen 12B, а впоследствии у Qwen 27B.
- Этот подход имитирует человеческое обучение, опираясь на ранее приобретённые знания, вместо того чтобы пытаться преодолеть большой разрыв в возможностях за один шаг.
- В предложении предлагается использовать метод, похожий на проект Heretic, применяя стратегию «поиск и усиление» для выявления и добавления полезных возможностей, избегая повторного открытия уже изученных черт.
- Успех будет измеряться тем, улучшает ли фиксированная модель свои показатели измеримо и сохраняет ли предыдущие достижения, что даст представление о практической ёмкости знаний малых моделей.
Автор предполагает, что этот метод может определить, является ли постепенное накопление знаний более эффективным, чем прямая дистилляция от самого крупного учителя для малых моделей.