arxiv arXiv cs.AI · hace 1 d · research

Harness Continual Learning adapta el estado del agente fuera de los parámetros congelados del modelo

Traducido del English → Español

Los autores presentan Harness Continual Learning (HCL), un paradigma donde un agente mejora evolucionando su harness orientado a la ejecución en lugar de actualizar los parámetros del modelo. Este enfoque aborda el desafío de retener el comportamiento previamente adquirido mientras se adapta a nuevas experiencias a través de componentes como prompts, memorias y reglas de enrutamiento.

HCL utiliza cuatro componentes: Task Interface, Experience Memory, Capability Map y Adaptive Router.
La evolución del harness protegido separa la generación de actualizaciones del compromiso del estado utilizando un Continual Optimizer y Evaluator.
Los experimentos muestran ganancias relativas superiores al 10% sobre las líneas base en razonamiento textual, percepción multimodal e interacción en el mundo abierto.
Barridos de retención controlados revelan olvido medible a nivel de harness y permiten ajustar explícitamente la compensación entre estabilidad y plasticidad.

Este método permite la acumulación de capacidades y la recuperación de fallos sin interrumpir el comportamiento adquirido anteriormente al mantener congelado el modelo base.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.AI Research paper Training methods

Artículos relacionados

media r/LocalLLaMA · hace 2 d · 9 vistas

Z.ai escala el postentrenamiento de GLM-5.3 para mejorar el razonamiento a largo plazo

Z.ai lanzó GLM-5.3, un experimento controlado que demuestra que escalar el postentrenamiento produce ganancias significativas en el razonamiento a largo plazo sin cambiar el modelo base ni la cantidad de parámetros.

media Hugging Face Forums · hace 8 d · 18 vistas

ThetaMem propone elevaciones de clave multiplicativa con signo para memoria de secuencia de estado fijo

ThetaMem es un estudio preliminar con una sola semilla de un mezclador recurrente que modifica el estado recurrente mediante elevaciones de clave aprendidas de Hadamard con signo o producto exterior, en lugar de refinar los mecanismos de compuerta. El autor presenta resultados mixtos en benchmarks sintéticos y busca explícitamente críticas para identificar el experimento más económico que pueda falsificar el enfoque.

lab NVIDIA Research · hace 9 d · 61 vistas

Los LLM igualan o superan la optimización bayesiana para la optimización de hiperparámetros

Un nuevo artículo explora el uso de modelos de lenguaje grandes fundamentales (LLM) para automatizar la optimización de hiperparámetros (HPO), un proceso que normalmente depende de enfoques manuales en configuraciones con presupuesto limitado. Los autores desarrollaron una metodología donde los LLM sugieren configuraciones de hiperparámetros basadas en descripciones del conjunto de datos y del modelo, las cuales se refinan iterativamente según el rendimiento del modelo.

lab NVIDIA Research · hace 9 d · 56 vistas

Source introduce diferenciación desenrollada aproximada para la atribución de datos de entrenamiento

Los investigadores presentan Source, un nuevo método de atribución de datos de entrenamiento (TDA) que combina la eficiencia computacional de las funciones de influencia con la precisión de los enfoques basados en desenrollado. Al utilizar una fórmula similar a la función de influencia para aproximar la diferenciación desenrollada, Source aborda limitaciones en los métodos de diferenciación implícita, como su incapacidad para tener en cuenta el sesgo de optimización o los pipelines de múltiples etapas.

lab NVIDIA Research · hace 9 d · 25 vistas

JacNet aprende funciones modelando directamente jacobianos estructurados

El artículo presenta JacNet, una arquitectura de red neuronal que aprende directamente el jacobiano de una función de entrada-salida en lugar del mapeo en sí. Este enfoque permite un control preciso sobre las propiedades de la derivada, permitiendo imponer priores estructurales como invertibilidad y continuidad k-Lipschitz.