Todos los artículos
arxiv arXiv cs.LG · hace 12 h

Las Redes de Kolmogorov-Arnold Polinomiales Aprenden la Dinámica del Juego de la Vida

Este estudio demuestra que las redes neuronales pueden aprender de manera confiable la dinámica del Juego de la Vida de Conway utilizando arquitecturas mínimas mediante el empleo de sesgos inductivos específicos en lugar de depender de procesos de búsqueda a gran escala. Los autores muestran que las variantes de red con funciones de activación alternativas superan significativamente a las Unidades Lineales Rectificadas estándar, particularmente a través del uso de activaciones polinomiales de segundo grado.

arxiv arXiv cs.LG · hace 12 h

Cuantificación del acuerdo entre influencia de datos y similitud de datos en LLMs

Este estudio cuantifica el acuerdo entre las medidas de similitud de datos e influencia de datos utilizadas para rastrear las salidas de los LLMs hasta los datos de entrenamiento, revelando una superposición significativa con una asimetría donde la influencia de datos clasifica más consistentemente los documentos más similares. Los experimentos en modelos como OLMo2-1B, Qwen3-1.7B, LlaMa3.2-1B, Gemma3-1B y GPT2 demuestran que esta asimetría permite una compensación favorable entre costo y precisión al usar la influencia de datos para refinar los resultados más económicos de la similitud de datos.

arxiv arXiv cs.LG · hace 12 h

Escalando la conectividad de modos lineales y la fusión en transformadores preentrenados de miles de millones de parámetros

Los investigadores proponen un marco escalable para fusionar transformadores de miles de millones de parámetros entrenados independientemente utilizando conectividad de modos lineales, abordando los límites de escalabilidad en métodos existentes. El enfoque emplea transformaciones de pesos que preservan la función y un procedimiento de aprendizaje dual donde ambos modelos optimizan conjuntamente hacia una trayectoria de interpolación lineal compartida.

arxiv arXiv cs.LG · hace 12 h

Descubrimiento causal en la era de los agentes

El artículo argumenta en contra del uso de modelos de lenguaje grandes para inferir estructuras causales, advirtiendo que tales enfoques corren el riesgo de confundir asociaciones textuales con evidencia causal genuina. En su lugar, propone que los agentes solo deben asistir el flujo de trabajo inspeccionando datos y explicando supuestos, mientras se mantiene que las afirmaciones causales estén fundamentadas en algoritmos formales y diagnósticos.

media r/LocalLLaMA · hace 12 h

Rendimiento de la división de tensores en eGPUs con bajo ancho de banda (TB3), y una pregunta

Un usuario informa haber probado el modo de división de tensores con dos eGPUs Morefine G1 4090M de 16GB conectadas mediante Thunderbolt 3 a 40Gbps. Mientras que el modo de división por capas produce altas tasas de tokens para el prellenado (PP) y la generación de texto (TG), el modo de división de tensores satura ambas tarjetas durante TG pero sufre de un mal rendimiento en PP debido a la saturación del ancho de banda.

arxiv arXiv cs.LG · hace 13 h

Selección de datos mediante autofiltrado iterativo para entornos de visión-lenguaje

Los investigadores proponen un método bootstrap novel llamado Autofiltrado que entrena un modelo CLIP en un conjunto de datos en evolución seleccionado mediante autofiltrado iterativo. Este enfoque equilibra muestras limpias filtradas de alta probabilidad con ejemplos diversos de toda la distribución para mitigar el ruido en conjuntos de datos de visión-lenguaje a gran escala.

arxiv arXiv cs.LG · hace 13 h

RECALL: Colección de Experiencias de Recuperación para Aprendizaje Continuo Activo en Modelos Visión-Lenguaje-Acción

Este artículo propone un paradigma de aprendizaje continuo activo para modelos Visión-Lenguaje-Acción (VLA) con el fin de abordar las ineficiencias del aprendizaje por imitación pasiva. Los autores demuestran que la recolección de datos guiada por incertidumbre mejora la eficiencia del ajuste fino, pero provoca un olvido catastrófico cuando se utilizan exclusivamente los datos de recuperación.

arxiv arXiv cs.LG · hace 13 h

DiT-Reward: Representaciones generativas para modelado de recompensas de texto a imagen

El artículo presenta DiT-Reward, un método que convierte un Diffusion Transformer preentrenado de texto a imagen en un modelo de recompensa procesando latentes de imágenes casi limpias y agregando representaciones condicionadas por texto a través de las capas del transformer. Este enfoque aprovecha las representaciones generativas para evaluar la calidad de las imágenes generadas sin requerir objetivos de entrenamiento separados.

arxiv arXiv cs.LG · hace 13 h

Muown realiza implícitamente la reducción del tamaño de paso angular

El artículo demuestra que la actualización direccional de Muown es equivalente a un paso riemanniano en direcciones normalizadas, donde la magnitud de la parametrización no normalizada modula el tamaño del paso angular. Esta comprensión explica la estabilidad del tamaño de paso de Muown y motiva el desarrollo de AngularMuown, que optimiza directamente sobre direcciones normalizadas con un multiplicador angular explícito y programable.

arxiv arXiv cs.LG · hace 13 h

Aprendizaje de recompensas de proceso mediante emparejamiento de visitas al éxito para RL eficiente

Los autores proponen un método para transformar las recompensas de resultado inherentemente dispersas en aprendizaje por refuerzo en recompensas de proceso densas, entrenando un discriminador para distinguir entre episodios exitosos y no exitosos. Este enfoque incentiva a la política a emparejar las visitas al estado-acción de los episodios exitosos mientras evita las de los no exitosos, proporcionando retroalimentación densa sobre el progreso sin alterar la política óptima.

arxiv arXiv cs.LG · hace 14 h

Los modelos de difusión se adaptan a la estructura de baja dimensión bajo elecciones flexibles de coeficientes

Este artículo demuestra que la capacidad de los modelos de difusión para explotar la estructura de baja dimensión con el fin de acelerar el muestreo es una propiedad robusta e independiente de las elecciones específicas de los coeficientes de actualización. Los autores demuestran que una amplia clase de coeficientes permite generar una muestra con precisión ε en O(k/ε) iteraciones, independientemente de la dimensión del espacio ambiente.

arxiv arXiv cs.LG · hace 14 h

Estimación dinámica de secuencias que varían lentamente

Este artículo presenta un marco para aproximar secuencialmente funciones en secuencias que varían lentamente, aprovechando la reutilización de consultas anteriores para reducir el costo computacional general. Los autores presentan nuevos resultados de estimación secuencial para potencias de matrices, densidades espectrales, integración de Monte Carlo y problemas de valores en la frontera de ecuaciones diferenciales parciales.