Alinhamento pós-treinamento de pequenos modelos de linguagem baseados em Qwen para geração de bulas de medicamentos

Um estudo compara métodos pós-treinamento, incluindo ajuste fino supervisionado (SFT), otimização direta de preferências (DPO), otimização de preferências por razão de chances (ORPO) e otimização relativa de política em grupo (GRPO) em pequenos modelos de linguagem baseados em Qwen para geração de texto a partir de dados biomédicos.

• SLMs alinhados superam modelos proprietários como GPT-5 na geração de bulas de medicamentos.
• ORPO supera as linhas de base do SFT nesta tarefa específica.
• GRPO oferece o desempenho mais robusto entre conjuntos de dados para os métodos de alinhamento testados, bem como para o GPT-5.

Os achados sugerem que pequenos modelos de linguagem cuidadosamente alinhados podem alcançar resultados superiores em comparação com alternativas proprietárias maiores para tarefas especializadas de tradução biomédica.