Un utilisateur des forums Hugging Face propose une expérience de transfert de connaissances progressif, où un modèle étudiant de taille fixe (Qwen 4B) apprend séquentiellement à partir de modèles enseignants de plus en plus grands plutôt que directement à partir du plus grand disponible.
- Le processus implique que le modèle 4B apprenne de Qwen 8B ou 9B, puis abandonne cet enseignant pour apprendre de Qwen 12B, et ensuite de Qwen 27B.
- Cette approche imite l'apprentissage humain en s'appuyant sur les connaissances acquises précédemment au lieu d'essayer de combler un grand écart de capacités en une seule étape.
- La proposition suggère d'utiliser une méthode similaire au projet Heretic, employant une stratégie de "recherche et renforcement" pour identifier et ajouter des capacités utiles tout en évitant la redécouverte de traits déjà appris.
- Le succès serait mesuré par le fait que le modèle de taille fixe s'améliore de manière mesurable et préserve les gains antérieurs, offrant un aperçu de la capacité pratique de connaissances des petits modèles.
L'auteur suggère que cette méthode pourrait déterminer si l'accumulation progressive des connaissances est plus efficace que la distillation directe à partir du plus grand enseignant pour les petits modèles.