arxiv arXiv cs.LG · hace 57 d · research

NoiseTilt: Kernels inversos con inclinación de ruido para la alineación de recompensas en difusión

Traducido del English → Español

NoiseTilt introduce NTRK, un muestreador de difusión guiado por recompensa que inyecta gradientes de recompensa a través del término de ruido sin alterar el kernel inverso. Al utilizar un operador de blanqueo, NTRK sesga de forma segura el ruido hacia la alta recompensa, preservando la calidad de la muestra mientras mantiene una fuerte guía. En la generación estética, NTRK logra un rendimiento de recompensa superior con 25 NFEs, reduciendo el cómputo en 20× en comparación con las líneas base más avanzadas.

Importancia 3/3 Supera un benchmark de un laboratorio puntero Nueva función frente a los líderes Nuevo entorno de evaluación con diferenciadores arXiv cs.LG OpenAI Google DeepMind Hugging Face Evaluation & benchmarks Image generation Reasoning models

Leer original

Lean como Oráculo de Recompensa Verificado por Proceso en RL para Demostración de Teoremas

Este trabajo muestra que Lean puede servir como un oráculo simbólico de proceso, proporcionando retroalimentación fina y verificada durante el aprendizaje por refuerzo. Al analizar los intentos de demostración en secuencias de tácticas y usar la elaboración de Lean para marcar pasos válidos y primeros fallos, el sistema genera señales de recompensa densas basadas en teoría de tipos. Los experimentos demuestran que la supervisión a nivel de táctica supera a los métodos solo de resultado en benchmarks como MiniF2F y ProofNet, destacando el papel de Lean tanto como evaluador como fuente de recompensa de entrenamiento.

arxiv arXiv cs.AI · hace 55 d · 1 vista

Fusión global aprendible para tokenización de longitud variable en Transformers de difusión

Un nuevo tokenizador de longitud variable utiliza fusión global aprendible para permitir la alineación de representaciones entre longitudes en modelos de difusión. Este enfoque independiente de los datos supera la semántica dependiente de la posición y mejora el equilibrio entre calidad y costo computacional en la generación de ImageNet 256×256 en comparación con métodos anteriores.

arxiv arXiv cs.AI · hace 55 d

MACR: Resolución explícita de conflictos para inferencia de LLM

MACR introduce un marco de razonamiento multiagente para resolver conflictos de conocimiento en la inferencia de LLM evaluando conjuntamente el conocimiento interno y externo. Utiliza entropía semántica para medir la confianza y emplea tres agentes especializados para inducir reglas, detectar conflictos y resolver inconsistencias entre contextos. Los resultados empíricos muestran que MACR supera a los métodos más avanzados y proporciona resoluciones de conflictos interpretables.

arxiv arXiv cs.LG · hace 55 d · 1 vista

VIMPO: Optimización de política sin crítico para LLMs

VIMPO introduce un método de optimización de política sin crítico que deriva una función de valor implícita por la política a partir del aprendizaje por refuerzo con regularización KL. Permite la incorporación de recompensas verificables sin entrenar un crítico y supera a GRPO en benchmarks matemáticos, especialmente bajo recompensas ruidosas.

arxiv arXiv cs.CL · hace 55 d · 4 vistas

Aprendizaje de currículo bayesiano en variedades latentes de LLM

Manifold Bandits introduce el Currículo de Variedad Bayesiana (BMC), un marco que modela el muestreo de problemas como un problema estructurado de bandits en el espacio latente de los LLM. BMC organiza las tareas en un árbol jerárquico y utiliza aprendizaje bayesiano para guiar el muestreo, revelando compensaciones entre la señal de aprendizaje, la diversidad de tareas y la relevancia de la evaluación. Priorizar únicamente la dificultad no logra un buen rendimiento en tareas posteriores, subrayando la necesidad de estructura y muestreo consciente del tipo.