arxiv arXiv cs.AI · hace 1 h · research

ISO presenta una pila de optimización nativa para RLVR que corrige los espectros de pesos del modelo

Traducido del English → Español

Los investigadores proponen Isospectral Optimization (ISO), un marco para el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) que aborda la capa de optimización faltante manteniendo fijos los espectros de pesos del modelo mientras se optimizan los marcos singulares de entrada y salida.

El enfoque incluye ISO-Merger, que combina capacidades especializadas en un solo modelo sin datos posteriores a la fusión ni actualizaciones de gradiente, e ISO-Optimizer, que aplica optimizadores estándar como AdamW a las variables del marco. En Qwen3-8B-Base, ISO-AdamW igualó una precisión agregada de 0.495 en solo 100 pasos de entrenamiento en comparación con 270 para AdamW estándar, alcanzando eventualmente 0.509 después de 210 pasos.

ISO proporciona un método concreto para la adaptación posterior al entrenamiento heredando el espectro del modelo base y optimizando solo los marcos asociados con cambios impulsados por recompensas.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.AI Reasoning models Training methods

Leer original

extGemma4-40_5B extiende exitosamente a Gemma 4 añadiendo capacidad y sanando

El autor informa que el modelo extGemma4-40_5B, una versión extendida de Gemma 4, supera con éxito los fallos anteriores en la inserción de capas mediante una nueva estrategia de inicialización. Al inicializar las nuevas capas como una mezcla de sus vecinas en lugar de como no-ops, el modelo evita el hambre de señal y permite un entrenamiento efectivo.

arxiv arXiv cs.LG · hace 12 d · 3 vistas

AdaPrefix-GRPO adapta prefijos de traza para duplicar la precisión de GRPO en matemáticas difíciles

AdaPrefix-GRPO aborda el problema de los gradientes desvanecidos en Group Relative Policy Optimization (GRPO) ajustando dinámicamente la longitud de los prefijos de soluciones correctas que se antepone a los problemas de entrenamiento. Al mantener una tasa de éxito cercana al 50%, el método asegura que la señal del gradiente permanezca fuerte, retirando eventualmente la asistencia para que el modelo desplegado resuelva los problemas sin ayuda.

arxiv arXiv cs.CL · hace 13 d

AdaPrefix-GRPO adapta prefijos de referencia para duplicar la precisión de GRPO en matemáticas difíciles

Los autores proponen AdaPrefix-GRPO, un método que ajusta dinámicamente la longitud de un prefijo de solución correcto durante el entrenamiento de Group Relative Policy Optimization (GRPO). Al tratar la longitud del prefijo como una perilla controlada por retroalimentación, el sistema mantiene una tasa de éxito cerca del 50% para maximizar la señal del gradiente antes de retirar completamente la asistencia.

arxiv arXiv cs.CL · hace 22 d

LatentRevise: Aprendizaje a partir de razonamiento con cero aciertos

El artículo presenta LatentRevise, un método de revisión latente de primer orden diseñado para recuperar señales de entrenamiento en aprendizaje por refuerzo con recompensas verificables (RLVR) para prompts donde las trayectorias correctas se muestrean raramente. Al optimizar los embeddings de entrada de un prefijo de razonamiento basándose en rollouts fallidos y respuestas doradas, el método genera datos útiles a partir de intentos previamente improductivos.

arxiv arXiv cs.AI · hace 23 d

ScaleToT: Generalización del razonamiento estructurado de LLM para la modelización de usuarios de baja actividad a escala de miles de millones

El artículo presenta ScaleToT, un método que aprende razonamiento estructurado a partir de un pequeño subconjunto de usuarios y lo extiende a miles de millones de usuarios de baja actividad con perfiles dispersos. Combina un refinamiento de Tree-of-Thought guiado por entropía acotada con ajuste fino supervisado y optimización de la política de recompensa para transferir capacidades de razonamiento sin inferencia completa de LLM.