Alignement post-entraînement des petits modèles de langage basés sur Qwen pour la génération de notices médicales

Une étude compare les méthodes post-entraînement, notamment le fine-tuning supervisé (SFT), l'optimisation directe des préférences (DPO), l'optimisation des préférences par rapport d'odds (ORPO) et l'optimisation relative de la politique de groupe (GRPO) sur des petits modèles de langage basés sur Qwen pour la génération de texte à partir de données biomédicales.

• Les SLM alignés surpassent les modèles propriétaires tels que GPT-5 dans la génération de notices d'emballage de médicaments.
• L'ORPO surpasse les références SFT dans cette tâche spécifique.
• Le GRPO offre les performances inter-jeux de données les plus robustes parmi les méthodes d'alignement testées, ainsi que le GPT-5.

Les résultats suggèrent que des petits modèles de langage soigneusement alignés peuvent obtenir des résultats supérieurs par rapport aux alternatives propriétaires plus grandes pour des tâches de traduction biomédicale spécialisée.