lab NVIDIA Research · hace 15 h · research

ZPPO utiliza prompts en lugar de gradientes para mejorar el entrenamiento de modelos visiolingüísticos pequeños

Traducido del English → Español

Los investigadores presentan la Optimización de Política en la Zona Próxima (ZPPO), un método que inyecta conocimiento del maestro en los prompts en lugar de en los gradientes de la política para abordar la fragilidad en la destilación de conocimiento y la deriva en el aprendizaje por refuerzo. ZPPO construye Preguntas con Candidato Binario Incluido (BCQ) y Preguntas con Candidato Negativo Incluido (NCQ) para preguntas difíciles, recirculándolas a través de un búfer de repetición hasta que la precisión del estudiante mejore o sean expulsadas.

ZPPO empareja una respuesta correcta del maestro con una respuesta incorrecta del estudiante en las BCQ para forzar la discriminación, mientras que las NCQ agregan los fallos del estudiante para exponer modos de error compartidos.
El método se probó en la familia Qwen3.5 a escalas desde 0.8B hasta 9B utilizando un modelo maestro de 27B.
Las evaluaciones cubrieron un conjunto de 31 benchmarks que incluyen 16 VLM, 10 LLM y 5 tareas de video.
ZPPO superó a la destilación off/on-policy y a GRPO, con las mayores ganancias observadas en la escala de modelo más pequeña.

Al mantener al maestro dentro del prompt en lugar del gradiente de la política, ZPPO evita romper los supuestos on-policy mientras amplifica el aprendizaje dentro de la zona de desarrollo próximo actual del estudiante.

Importancia 1/3 Confianza 3/3 NVIDIA Research Research paper Training methods

Artículos relacionados

lab NVIDIA Research · hace 15 h · 2 vistas

Masters destila modelos de visión y lenguaje mediante enmascaramiento del maestro y refuerzo del estudiante

Los investigadores proponen Masters, un marco de aprendizaje por refuerzo progresivo con enmascaramiento para destilar modelos grandes de visión y lenguaje en versiones compactas adecuadas para implementación en dispositivos periféricos. El método aborda la inestabilidad causada por la brecha de tamaño entre los modelos maestro y estudiante.

arxiv arXiv cs.LG · hace 5 d

U-OPSD permite la auto-distilación no supervisada en política para LLM

Los investigadores proponen la Auto-Distilación No Supervisada en Política (U-OPSD), un método que logra una mejora post-entrenamiento para modelos de lenguaje grandes utilizando únicamente las propias generaciones del modelo sin supervisión externa. El enfoque muestrea múltiples trayectorias para construir una pseudo-solución mediante votación mayoritaria, luego destila una distribución docente en los prefijos de la finalización incorrecta más larga del modelo.

arxiv arXiv cs.CL · hace 12 d · 3 vistas

Memory Decoder a gran escala: Escalar la memoria paramétrica a largo plazo hasta 6.9B de parámetros

Los investigadores presentan Memory Decoder at Scale, un sistema que escala los modelos de memoria paramétrica a largo plazo hasta 6.9B de parámetros y los preentrena con 300B de tokens. Para abordar la inviabilidad de las tuberías estándar de Faiss a esta escala de datos, los autores implementan una tubería de indexación distribuida con carga dispersa y por lotes de distribuciones kNN.

arxiv arXiv cs.CL · hace 14 d

Relay-OPD reduce la longitud de la trayectoria de entrenamiento en más del 50% en la destilación on-policy

Los investigadores introducen Relay On-Policy Distillation (Relay-OPD) para abordar el fallo de prefijo en la destilación on-policy estándar, donde los errores del estudiante conducen a una supervisión poco fiable. El método utiliza una asimetría de continuación maestro-estudiante como disparador para que el maestro tome brevemente el control y redirija la trayectoria antes de que el estudiante retome.

media Hugging Face Forums · hace 18 d

ThetaScan v0.1 lanza memoria no lineal paralela en escaneo con 17M resultados de LM

Se ha publicado una vista previa de investigación de ThetaScan v0.1, un mezclador de tokens no lineal de estado fijo, como implementación de código abierto. La arquitectura garantiza que cada token calcule su escritura de memoria a partir de la entrada actual y los parámetros compartidos en lugar de un estado rápido en evolución, permitiendo que las escrituras se compongan mediante un escaneo de prefijo asociativo.