media r/LocalLLaMA · hace 1 h · open_models

Z.ai escala el postentrenamiento de GLM-5.3 para mejorar el razonamiento a largo plazo

Traducido del English → Español

Z.ai lanzó GLM-5.3, un experimento controlado que demuestra que escalar el postentrenamiento produce ganancias significativas en el razonamiento a largo plazo sin cambiar el modelo base ni la cantidad de parámetros.

El lanzamiento mantiene la misma arquitectura y los parámetros totales/activados que GLM-5.2, pero añade un mes de escalado en entornos de horizonte largo y aprendizaje por refuerzo. Los autores argumentan que la profundidad efectiva y el postentrenamiento son ahora más críticos que la cantidad de parámetros para capacidades como llevar cadenas complejas de inferencia. Las leyes de escalado han pasado de optimizar el cómputo de entrenamiento a equilibrar datos, cómputo y costos de inferencia, variando los tokens óptimos por parámetro según la tarea.

Este enfoque permite a Z.ai mejorar capacidades específicas sin aumentar el tamaño del modelo, reservando el escalado del modelo base para futuras iteraciones.

Importancia 2/3 r/LocalLLaMA Zhipu AI Research paper Training methods

Leer original

ByteDance Seed y Tsinghua AIR lanzan el sistema de RL agéntico CUDA Agent para la generación de núcleos CUDA

ByteDance Seed y Tsinghua AIR han presentado CUDA Agent, un sistema de aprendizaje por refuerzo agéntico que entrena el modelo de lenguaje grande Seed1.6 para escribir núcleos de GPU que superan a los compiladores.

media Hugging Face Forums · hace 6 d · 18 vistas

ThetaMem propone elevaciones de clave multiplicativa con signo para memoria de secuencia de estado fijo

ThetaMem es un estudio preliminar con una sola semilla de un mezclador recurrente que modifica el estado recurrente mediante elevaciones de clave aprendidas de Hadamard con signo o producto exterior, en lugar de refinar los mecanismos de compuerta. El autor presenta resultados mixtos en benchmarks sintéticos y busca explícitamente críticas para identificar el experimento más económico que pueda falsificar el enfoque.

lab NVIDIA Research · hace 7 d · 60 vistas

Los LLM igualan o superan la optimización bayesiana para la optimización de hiperparámetros

Un nuevo artículo explora el uso de modelos de lenguaje grandes fundamentales (LLM) para automatizar la optimización de hiperparámetros (HPO), un proceso que normalmente depende de enfoques manuales en configuraciones con presupuesto limitado. Los autores desarrollaron una metodología donde los LLM sugieren configuraciones de hiperparámetros basadas en descripciones del conjunto de datos y del modelo, las cuales se refinan iterativamente según el rendimiento del modelo.

lab NVIDIA Research · hace 7 d · 56 vistas

Source introduce diferenciación desenrollada aproximada para la atribución de datos de entrenamiento

Los investigadores presentan Source, un nuevo método de atribución de datos de entrenamiento (TDA) que combina la eficiencia computacional de las funciones de influencia con la precisión de los enfoques basados en desenrollado. Al utilizar una fórmula similar a la función de influencia para aproximar la diferenciación desenrollada, Source aborda limitaciones en los métodos de diferenciación implícita, como su incapacidad para tener en cuenta el sesgo de optimización o los pipelines de múltiples etapas.

lab NVIDIA Research · hace 7 d · 24 vistas

JacNet aprende funciones modelando directamente jacobianos estructurados

El artículo presenta JacNet, una arquitectura de red neuronal que aprende directamente el jacobiano de una función de entrada-salida en lugar del mapeo en sí. Este enfoque permite un control preciso sobre las propiedades de la derivada, permitiendo imponer priores estructurales como invertibilidad y continuidad k-Lipschitz.