arxiv arXiv cs.CL · hace 1 h · research

Relay-OPD reduce la longitud de la trayectoria de entrenamiento en más del 50% en la destilación on-policy

Traducido del English → Español

Los investigadores introducen Relay On-Policy Distillation (Relay-OPD) para abordar el fallo de prefijo en la destilación on-policy estándar, donde los errores del estudiante conducen a una supervisión poco fiable. El método utiliza una asimetría de continuación maestro-estudiante como disparador para que el maestro tome brevemente el control y redirija la trayectoria antes de que el estudiante retome.

Utiliza un maestro Qwen3-4B-Instruct-2507 con estudiantes Qwen3-0.6B/1.7B-Non-Thinking en ocho benchmarks de razonamiento matemático.
Logra los mejores o segundos mejores resultados en cada benchmark, superando a OPD estándar en +5.73% y FastOPD en +1.49% en promedio para el modelo de 1.7B.
Se observan ganancias consistentes a la escala de 0.6B, mientras que la longitud de la trayectoria de entrenamiento se reduce en más del 50%.

Este enfoque concentra la intervención en posiciones críticas iniciales mediante un presupuesto de relevo limitado, limitando la desviación de la política del estudiante mientras mejora significativamente la eficiencia y la precisión.

Importancia 2/3 arXiv cs.CL Alibaba (Qwen) Research paper Training methods

Artículos relacionados

arxiv arXiv cs.CL · hace 13 d

Alineación post-entrenamiento de modelos de lenguaje pequeños basados en Qwen para la generación de prospectos de medicamentos

Un estudio compara métodos post-entrenamiento que incluyen ajuste fino supervisado (SFT), optimización directa de preferencias (DPO), optimización de preferencias por razón de probabilidades (ORPO) y optimización relativa de política grupal (GRPO) en modelos de lenguaje pequeños basados en Qwen para la generación de texto a partir de datos biomédicos.

arxiv arXiv cs.CL · hace 15 d

UMoE reorganiza los conjuntos de expertos de MoE para un ajuste fino específico del dominio mejorado

Los investigadores proponen UMoE, una tubería que reorganiza el conjunto de expertos de los modelos Mixture-of-Experts hacia un dominio objetivo antes del ajuste fino supervisado. El método poda a los expertos de baja saliencia y regenera el conjunto mediante expansión basada en perturbaciones mientras preserva los conteos originales de parámetros y los costos de inferencia.

arxiv arXiv cs.CL · hace 19 d

Adaptación de Qwen-ASR guiada por diarización para habla conversacional multilingüe de dos hablantes

Este artículo describe un sistema para el Desafío MLC-SLM 2026 que combina una interfaz frontal modular de diarización de hablantes con un reconocedor Qwen3-ASR-1.7B adaptado al desafío.

arxiv arXiv cs.CL · hace 21 d · 2 vistas

Un estudio con el esqueleto congelado descubre que la eficacia de la adaptación de dominio depende del conocimiento previo del dominio objetivo

Un estudio de caso que evalúa esqueletos de incrustación congelados como Qwen3-Embedding, RoBERTa-base y FinBERT revela que el beneficio de la adaptación explícita de dominio varía significativamente según el conocimiento previo del modelo. La investigación entrenó adaptadores MLP ligeros utilizando Redes Neuronales Adversarias de Dominio (DANN), Discrepancia de Media Máxima (MMD) y Aprendizaje Contrastivo Supervisado (SCL) para transferir el análisis de sentimientos de reseñas de consumidores a reseñas de películas (SST-2) y noticias financieras.

arxiv arXiv cs.CL · hace 22 d · 1 vista

Un estudio encuentra que los modelos de lenguaje alineados se comprometen temporalmente con respuestas incorrectas antes de una corrección tardía

Un estudio de 17 modelos en tres familias revela que los modelos de lenguaje alineados a menudo se comprometen temporalmente con respuestas incorrectas en capas intermedias (25-90% de profundidad) antes de ser corregidos por mecanismos de capas tardías. Este "bajo equivocado" se verifica causalmente mediante trasplante de activaciones y varía significativamente según las recetas de alineación y la escala del modelo.