arxiv arXiv cs.LG · hace 1 h · research

U-OPSD permite la auto-distilación no supervisada en política para LLM

Traducido del English → Español

Los investigadores proponen la Auto-Distilación No Supervisada en Política (U-OPSD), un método que logra una mejora post-entrenamiento para modelos de lenguaje grandes utilizando únicamente las propias generaciones del modelo sin supervisión externa. El enfoque muestrea múltiples trayectorias para construir una pseudo-solución mediante votación mayoritaria, luego destila una distribución docente en los prefijos de la finalización incorrecta más larga del modelo.

U-OPSD mejora los modelos base en un 8,5% y 10,7% en Qwen3 sin modo de pensamiento a escalas de 4B y 8B en benchmarks como AIME24, MATH500 y AMC23.
Supera a métodos supervisados como OPSD por un promedio de 3,2% y 2,3% en modo sin pensamiento.
En modo de pensamiento, U-OPSD iguala o supera a OPSD y GRPO, superando a este último hasta un 1,1% a la escala de 8B.

Este método demuestra que la auto-distilación genuina es posible mediante la consistencia interna, ofreciendo una alternativa competitiva a las señales de entrenamiento supervisado.

Importancia 2/3 arXiv cs.LG Research paper Training methods

Artículos relacionados

arxiv arXiv cs.CL · hace 7 d · 2 vistas

Memory Decoder a gran escala: Escalar la memoria paramétrica a largo plazo hasta 6.9B de parámetros

Los investigadores presentan Memory Decoder at Scale, un sistema que escala los modelos de memoria paramétrica a largo plazo hasta 6.9B de parámetros y los preentrena con 300B de tokens. Para abordar la inviabilidad de las tuberías estándar de Faiss a esta escala de datos, los autores implementan una tubería de indexación distribuida con carga dispersa y por lotes de distribuciones kNN.

arxiv arXiv cs.CL · hace 9 d

Relay-OPD reduce la longitud de la trayectoria de entrenamiento en más del 50% en la destilación on-policy

Los investigadores introducen Relay On-Policy Distillation (Relay-OPD) para abordar el fallo de prefijo en la destilación on-policy estándar, donde los errores del estudiante conducen a una supervisión poco fiable. El método utiliza una asimetría de continuación maestro-estudiante como disparador para que el maestro tome brevemente el control y redirija la trayectoria antes de que el estudiante retome.

media Hugging Face Forums · hace 13 d

ThetaScan v0.1 lanza memoria no lineal paralela en escaneo con 17M resultados de LM

Se ha publicado una vista previa de investigación de ThetaScan v0.1, un mezclador de tokens no lineal de estado fijo, como implementación de código abierto. La arquitectura garantiza que cada token calcule su escritura de memoria a partir de la entrada actual y los parámetros compartidos en lugar de un estado rápido en evolución, permitiendo que las escrituras se compongan mediante un escaneo de prefijo asociativo.

media r/LocalLLaMA · hace 15 d · 1 vista

SLAI T-Rex alcanza 34.22% MFU y 71.81% Pass@1 para DeepSeek-V4 en Ascend

SLAI presenta T-Rex, un framework de post-entrenamiento con parámetros completos para la familia de modelos DeepSeek-V4 en infraestructura Ascend SuperPOD. El sistema aborda la presión de memoria y la sobrecarga de comunicación en modelos MoE de billones de parámetros mediante optimización jerárquica.

arxiv arXiv cs.LG · hace 22 d · 1 vista

Exponente de Lyapunov como recompensa densa informada por física: descubrimiento de estabilización en RL más allá del péndulo de Kapitza

Los autores proponen utilizar el exponente característico de Lyapunov (LCE) como una señal de recompensa densa para estabilizar un péndulo invertido con movimiento vertical. Este enfoque permite que los agentes de aprendizaje por refuerzo descubran comportamientos de estabilización complejos más allá de las soluciones oscilatorias estándar.