Un utilisateur de Reddit demande des insights du monde réel et les meilleures pratiques pour le fine-tuning des Small Language Models (SLM), en se concentrant spécifiquement sur le full fine-tuning et les méthodes Parameter-Efficient Fine-Tuning (PEFT) comme LoRA.
L'auteur vise à améliorer la connaissance d'un SLM dans un domaine spécifique, tel que la biologie marine, tout en préservant ses capacités de raisonnement général. Il s'intéresse aux conseils concrets concernant la curation des datasets, le choix des ranks LoRA appropriés pour différentes tâches, et les stratégies de génération de données synthétiques lors des étapes de Supervised Fine-Tuning (SFT) et d'alignement.
L'objectif est d'intégrer le modèle spécialisé dans un pipeline d'entreprise en tant que LLM-as-a-judge ou simplement pour apprendre efficacement les techniques de fine-tuning.