media Hugging Face Forums · hace 15 h · open_models

Los experimentos sugieren que las redes neuronales son sistemas dinámicos clásicos con estado

Traducido del English → Español

Un investigador realizó experimentos causales en nanoGPT, ResNet-18 y una U-Net de difusión para investigar la mecánica del entrenamiento, aprendizaje e inferencia. Los resultados indican que estos procesos forman un ciclo continuo donde las actualizaciones provocan respuestas no lineales y reorganización funcional persistente, lo cual luego influye en los estados subsiguientes.

Aplicar la misma actualización a diferentes estados receptores produce efectos distintos.
El aprendizaje deja cambios persistentes en el soporte funcional distribuido.
La inferencia congelada recluta este soporte, y la retroalimentación altera el estado para el aprendizaje futuro.
Esta relación estructural se mantiene en distintas arquitecturas, tareas, modalidades y optimizadores.

El autor propone ver las redes neuronales como sistemas dinámicos clásicos con estado en lugar de simples funciones parametrizadas de entrada-salida, respaldado por un artículo vinculado y un repositorio de GitHub.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Research paper Training methods

Leer original

PLVR utiliza propagación inversa simbólica para aprender programas de razonamiento verificables

Los investigadores presentan PLVR (Program Learning with Verifiable Rewards), un método post-entrenamiento que aprende programas de razonamiento explícitos compuestos por primitivas deterministas y neuronales en lugar de actualizar los pesos del modelo. El enfoque utiliza propagación inversa simbólica, donde la asignación de crédito se realiza mediante inferencia de tipos sobre las firmas de las primitivas en lugar de estimación.

arxiv arXiv cs.CL · hace 6 d · 6 vistas

La métrica STAR y el marco StarPO mejoran la alineación en la traducción automática de documento a documento

Los investigadores presentan Sentence Translation Alignment Rate (STAR), una métrica auxiliar diseñada para cuantificar la fidelidad estructural a nivel de oración en la traducción automática de documento a documento, abordando problemas como omisiones y alucinaciones. Proponen STAR-masked Preference Optimization (StarPO), un marco que clasifica las hipótesis por calidad estructural y utiliza una máscara de alineación dinámica para centrar la optimización en los segmentos desalineados.

arxiv arXiv cs.AI · hace 14 d · 13 vistas

Harness Continual Learning adapta el estado del agente fuera de los parámetros congelados del modelo

Los autores presentan Harness Continual Learning (HCL), un paradigma donde un agente mejora evolucionando su harness orientado a la ejecución en lugar de actualizar los parámetros del modelo. Este enfoque aborda el desafío de retener el comportamiento previamente adquirido mientras se adapta a nuevas experiencias a través de componentes como prompts, memorias y reglas de enrutamiento.

media r/LocalLLaMA · hace 15 d · 13 vistas

Z.ai escala el postentrenamiento de GLM-5.3 para mejorar el razonamiento a largo plazo

Z.ai lanzó GLM-5.3, un experimento controlado que demuestra que escalar el postentrenamiento produce ganancias significativas en el razonamiento a largo plazo sin cambiar el modelo base ni la cantidad de parámetros.

media Hugging Face Forums · hace 20 d · 12 vistas

ThetaMem propone elevaciones de clave multiplicativa con signo para memoria de secuencia de estado fijo

ThetaMem es un estudio preliminar con una sola semilla de un mezclador recurrente que modifica el estado recurrente mediante elevaciones de clave aprendidas de Hadamard con signo o producto exterior, en lugar de refinar los mecanismos de compuerta. El autor presenta resultados mixtos en benchmarks sintéticos y busca explícitamente críticas para identificar el experimento más económico que pueda falsificar el enfoque.