Alineación post-entrenamiento de modelos de lenguaje pequeños basados en Qwen para la generación de prospectos de medicamentos

Un estudio compara métodos post-entrenamiento que incluyen ajuste fino supervisado (SFT), optimización directa de preferencias (DPO), optimización de preferencias por razón de probabilidades (ORPO) y optimización relativa de política grupal (GRPO) en modelos de lenguaje pequeños basados en Qwen para la generación de texto a partir de datos biomédicos.

• Los SLM alineados superan a los modelos propietarios como GPT-5 en la generación de prospectos de medicamentos.
• ORPO supera a las líneas base de SFT en esta tarea específica.
• GRPO ofrece el rendimiento más robusto entre conjuntos de datos para los métodos de alineación evaluados, así como para GPT-5.

Los hallazgos sugieren que los modelos de lenguaje pequeños cuidadosamente alineados pueden lograr resultados superiores en comparación con alternativas propietarias más grandes para tareas especializadas de traducción biomédica.