media r/LocalLLaMA · hace 1 h · open_models

SLAI T-Rex alcanza 34.22% MFU y 71.81% Pass@1 para DeepSeek-V4 en Ascend

Traducido del English → Español

SLAI presenta T-Rex, un framework de post-entrenamiento con parámetros completos para la familia de modelos DeepSeek-V4 en infraestructura Ascend SuperPOD. El sistema aborda la presión de memoria y la sobrecarga de comunicación en modelos MoE de billones de parámetros mediante optimización jerárquica.

Alcanza un 34.22% de Model FLOPs Utilization (MFU), una mejora de 2.93x sobre la línea base de código abierto.
Establece un flujo de trabajo CPT y SFT para tareas de Investigación de Operaciones utilizando datos sintéticos verificados por solucionadores.
El modelo especializado DeepSeek-V4-Flash alcanza una puntuación zero-shot Pass@1 del 71.81%, superando a GPT-5.4-Mini en 3.98 puntos porcentuales.

Este trabajo demuestra una vía eficiente para el post-entrenamiento de modelos de vanguardia en hardware Ascend y la creación de capacidades especializadas por dominio para razonamiento complejo.

Importancia 2/3 r/LocalLLaMA Research paper Training methods

Leer original

Exponente de Lyapunov como recompensa densa informada por física: descubrimiento de estabilización en RL más allá del péndulo de Kapitza

Los autores proponen utilizar el exponente característico de Lyapunov (LCE) como una señal de recompensa densa para estabilizar un péndulo invertido con movimiento vertical. Este enfoque permite que los agentes de aprendizaje por refuerzo descubran comportamientos de estabilización complejos más allá de las soluciones oscilatorias estándar.

arxiv arXiv cs.LG · hace 7 d

Lighthouse RL introduce puntos de reinicio estratégicos para una dimensionado eficiente de circuitos analógicos

Los investigadores presentan Lighthouse RL, un enfoque de aprendizaje por refuerzo que mejora la eficiencia de muestras en el dimensionado de circuitos analógicos utilizando configuraciones de alto rendimiento como puntos de reinicio estratégicos.

arxiv arXiv cs.CL · hace 7 d

Un marco de aprendizaje por meta-aprendizaje permite la alineación multilingüe de LLM con datos mínimos de preferencia

Los investigadores proponen un marco de meta-aprendizaje para el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y la Optimización Directa de Preferencias (DPO) para abordar el desafío de la disponibilidad desigual de datos de preferencia humana entre idiomas. Al aprovechar los datos de preferencia de otros idiomas, el método aprende una inicialización transferible que permite una adaptación efectiva a un idioma objetivo utilizando muy pocas muestras.

arxiv arXiv cs.CL · hace 7 d

Un estudio analiza la asignación óptima de cómputo para el post-entrenamiento de RL en función del tamaño del modelo, la búsqueda y el feedback

Un estudio investiga el problema de decisión con presupuesto fijo de asignar recursos de post-entrenamiento de Aprendizaje por Refuerzo (RL), examinando específicamente si se debe priorizar políticas más grandes, un entrenamiento extendido, una búsqueda de rollouts mayor o un feedback de recompensa más fuerte.

arxiv arXiv cs.CL · hace 7 d

El estudio encuentra que el éxito de la destilación on-policy depende de la calidad de la señal, no de la escala del maestro

Un estudio sistemático de la destilación on-policy (OPD) la identifica como un catalizador de exploración que guía a los estudiantes mediante una densa guía a nivel de tokens sin expandir el techo de capacidades. La investigación confirma que la efectividad de OPD depende completamente de la calidad de la señal de guía, no de la diversidad de prompts o del número de muestreos por problema.