lab NVIDIA Research · hace 15 h · research

Masters destila modelos de visión y lenguaje mediante enmascaramiento del maestro y refuerzo del estudiante

Traducido del English → Español

Los investigadores proponen Masters, un marco de aprendizaje por refuerzo progresivo con enmascaramiento para destilar modelos grandes de visión y lenguaje en versiones compactas adecuadas para implementación en dispositivos periféricos. El método aborda la inestabilidad causada por la brecha de tamaño entre los modelos maestro y estudiante.

Masters enmascara los pesos no dominantes del maestro para reducir la complejidad, luego restaura progresivamente la capacidad durante el entrenamiento para permitir un aprendizaje más suave.
Integra una etapa de RL fuera de línea utilizando respuestas pregeneradas de maestros enmascarados, evitando el costo computacional de los paradigmas de pensamiento-respuesta en línea.
El marco emplea dos recompensas complementarias: una recompensa de precisión para la corrección de la respuesta y una recompensa de destilación que cuantifica la facilidad de transferencia.

Este enfoque permite a los estudiantes lograr un rendimiento sólido aprovechando una guía rica pero eficiente sin requerir procesos largos de generación de respuestas.

Importancia 1/3 Confianza 3/3 NVIDIA Research Research paper Training methods

Artículos relacionados

lab NVIDIA Research · hace 15 h

ZPPO utiliza prompts en lugar de gradientes para mejorar el entrenamiento de modelos visiolingüísticos pequeños

Los investigadores presentan la Optimización de Política en la Zona Próxima (ZPPO), un método que inyecta conocimiento del maestro en los prompts en lugar de en los gradientes de la política para abordar la fragilidad en la destilación de conocimiento y la deriva en el aprendizaje por refuerzo. ZPPO construye Preguntas con Candidato Binario Incluido (BCQ) y Preguntas con Candidato Negativo Incluido (NCQ) para preguntas difíciles, recirculándolas a través de un búfer de repetición hasta que la precisión del estudiante mejore o sean expulsadas.

arxiv arXiv cs.LG · hace 5 d

U-OPSD permite la auto-distilación no supervisada en política para LLM

Los investigadores proponen la Auto-Distilación No Supervisada en Política (U-OPSD), un método que logra una mejora post-entrenamiento para modelos de lenguaje grandes utilizando únicamente las propias generaciones del modelo sin supervisión externa. El enfoque muestrea múltiples trayectorias para construir una pseudo-solución mediante votación mayoritaria, luego destila una distribución docente en los prefijos de la finalización incorrecta más larga del modelo.

arxiv arXiv cs.CL · hace 12 d · 3 vistas

Memory Decoder a gran escala: Escalar la memoria paramétrica a largo plazo hasta 6.9B de parámetros

Los investigadores presentan Memory Decoder at Scale, un sistema que escala los modelos de memoria paramétrica a largo plazo hasta 6.9B de parámetros y los preentrena con 300B de tokens. Para abordar la inviabilidad de las tuberías estándar de Faiss a esta escala de datos, los autores implementan una tubería de indexación distribuida con carga dispersa y por lotes de distribuciones kNN.

arxiv arXiv cs.CL · hace 14 d

Relay-OPD reduce la longitud de la trayectoria de entrenamiento en más del 50% en la destilación on-policy

Los investigadores introducen Relay On-Policy Distillation (Relay-OPD) para abordar el fallo de prefijo en la destilación on-policy estándar, donde los errores del estudiante conducen a una supervisión poco fiable. El método utiliza una asimetría de continuación maestro-estudiante como disparador para que el maestro tome brevemente el control y redirija la trayectoria antes de que el estudiante retome.

media Hugging Face Forums · hace 18 d

ThetaScan v0.1 lanza memoria no lineal paralela en escaneo con 17M resultados de LM

Se ha publicado una vista previa de investigación de ThetaScan v0.1, un mezclador de tokens no lineal de estado fijo, como implementación de código abierto. La arquitectura garantiza que cada token calcule su escritura de memoria a partir de la entrada actual y los parámetros compartidos en lugar de un estado rápido en evolución, permitiendo que las escrituras se compongan mediante un escaneo de prefijo asociativo.