Este estudio evalúa la efectividad de la concentración del argmax top-1 como advertencia de colapso durante el ajuste fino de modelos de lenguaje de difusión discreta (DLMs) utilizando Adaptación de Bajo Rango (LoRA). Los autores encuentran que esta métrica tiene una precisión cero porque se satura antes de que comience la optimización, fallando en detectar colapsos reales del entrenamiento.
Los investigadores presentan el Programador de datos holístico (HDS), un nuevo marco de mezcla de datos en línea que aborda las limitaciones de los métodos existentes considerando la composición dinámica de datos desde múltiples dimensiones. HDS formula la programación de datos como un problema de aprendizaje por refuerzo utilizando el algoritmo Soft Actor-Critic y una función de recompensa multiobjetivo.
Los investigadores proponen el muestreado de Extrapolación de Intensidad Acumulada con Reparametrización Temporal (TR-CIE) para mejorar la calidad del muestreo en la coincidencia de flujo discreto cuando las evaluaciones de función están restringidas. El método combina la reparametrización temporal basada en horarios con una regla de actualización de extrapolación de intensidad acumulada para mitigar la rigidez y mejorar la precisión de la aproximación.
Este artículo presenta AsyncOPD, una tubería de destilación on-policy completamente asíncrona que desacopla la generación de rollouts de las actualizaciones del aprendiz para aliviar los cuellos de botella de entrenamiento en el post-entrenamiento de modelos de lenguaje grandes. Los autores proporcionan el primer estudio sistemático de los efectos de la obsolescencia (staleness) en este contexto, demostrando que la divergencia KL directa ponderada por el maestro es robusta frente a rollouts obsoletos, mientras que la KL inversa ponderada por el estudiante es vulnerable.
El artículo sostiene que los modelos actuales de generación de video aprenden solo modelos del mundo espaciotemporales parciales e implícitos, en lugar de completamente fundamentados o controlables. Afirma que la realismo predictivo por sí solo es insuficiente para crear agentes físicos porque estos modelos a menudo fallan al identificar variables controlables y restricciones de encarnación.
Los autores presentan BehaviorBench, un benchmark integral diseñado para evaluar modelos fundamentales en diversas tareas y poblaciones de ciencias del comportamiento. El estudio evalúa cuatro capacidades principales—predicción de comportamiento, toma de decisiones estratégicas, inferencia de rasgos del sujeto y aplicación de conocimiento conductual—tanto a nivel individual como distribucional.
El artículo sostiene que la infraestructura de procesamiento del lenguaje natural para los más de mil millones de hablantes de lenguas indias está fragmentada debido a la falta de cimientos estructurales compartidos. Propone aprovechar la arquitectura morfosintáctica formalizada en el Astādhyāyī de Pānini como un marco computacional unificador para mejorar la precisión y la eficiencia de los datos.
Este estudio compara métodos tradicionales de aprendizaje automático frente a arquitecturas de transformer ligeras para la detección binaria de fallos en tres conjuntos de datos públicos, evaluando los compromisos entre precisión, tamaño del modelo y latencia. La investigación evalúa el rendimiento de clasificación utilizando F1-score y AUC, mientras también prueba la cuantización dinámica INT8 y un pipeline de inferencia adaptativo en dos etapas para optimizar la implementación en hardware con recursos limitados.
Los investigadores presentan Ariadne, un modelo solo de decodificador que reformula la planificación retrosintética como generación de secuencia condicionada por prompt, permitiendo que las moléculas objetivo, las restricciones y las rutas se representen en una sola secuencia. Este enfoque elimina la necesidad de modelos separados adaptados a especificaciones de planificación específicas.
El artículo presenta un paquete R y una aplicación Shiny diseñados para automatizar la evaluación visual de los gráficos de residuos de modelos lineales, abordando los problemas de escalabilidad y consistencia inherentes a la evaluación manual.
Los investigadores presentan MotifGen, un modelo generativo diseñado para la interpolación espacio-temporal de imágenes de microondas de ciclones tropicales a partir de múltiples fuentes geoespaciales con intervalos de tiempo irregulares y desalineación geográfica. El modelo aborda el desafío de la alta heterogeneidad en los datos de microondas combinando entradas de varios instrumentos para llenar los vacíos causados por los largos tiempos de revisita satelital.
Este artículo presenta dos esquemas numéricos basados en redes neuronales para resolver sistemas de ecuaciones diferenciales estocásticas backward acopladas ergódicas (eBSDEs), motivado por la aproximación de estrategias óptimas en modelos de factores estocásticos con cambio de régimen.
Este artículo presenta el conjunto de datos PROTECT-90, una referencia de benchmark simulada por transitorios electromagnéticos (EMT) y de acceso abierto diseñada para abordar la falta de conjuntos de datos de formas de onda de alta tensión estandarizados y disponibles públicamente para la protección de sistemas eléctricos. El lanzamiento tiene como objetivo permitir una evaluación transparente y reproducible de métodos basados en datos mediante mediciones consistentes similares a las de registradores digitales de fallos.
Este estudio propone dos estrategias dinámicas de programación agnósticas al hardware, un agente de Aprendizaje por Refuerzo libre de modelos y un método de Predición Aproximada sobre la marcha, para gestionar la energía volátil en sistemas IoT sin batería sin perfiles previos de tareas. Evaluadas frente a líneas base adaptativas y estáticas utilizando un marco de simulación personalizado, la investigación destaca compensaciones operativas distintas para diferentes restricciones del sistema.
Los autores presentan OVBEVSeg, un marco para la segmentación en vista de pájaro (BEV) de vocabulario abierto que utiliza modelos de visión-lenguaje para reconocer categorías más allá del conjunto de entrenamiento mientras mantiene una eficiencia en tiempo real. Para abordar la inconsistencia geométrica 3D inherente al elevar semánticas 2D a BEV, el método emplea restricciones geométricas 3D robustas a través de tres etapas progresivas.
Los autores presentan PHANTOM, un conjunto de datos abierto y a gran escala que contiene 47.524 ataques adversarios pregenerados diseñados para evaluar la seguridad y robustez de los modelos de visión y lenguaje (VLMs). Este recurso consolida las evaluaciones existentes y las extiende con nuevas categorías para proporcionar datos de evaluación diversos y prácticos para la comunidad investigadora.
Los autores proponen H-Res (Dirección Residual Jerárquica), un mecanismo que adapta grandes modelos Transformer modulando su paisaje de energía efectivo sin alterar el equilibrio global ni expandir la longitud de la secuencia. Este enfoque formula la adaptación como un problema de control en la variedad de activaciones para dirigir las trayectorias de tokens hacia cuencas de atracción específicas de la tarea.
Este artículo presenta RE4, un marco para el aprendizaje por imitación que combina teorías fundamentadas de manipulación con benchmarks modernos para preservar tanto el rendimiento como la interpretabilidad en tareas de interacción con objetos. El enfoque utiliza estimación de pose ligera y auto-supervisada, junto con transformaciones conscientes del modo, para recuperar y replanificar demostraciones de manera efectiva.
Este trabajo introduce identificadores naturales (NIDs), que son cadenas aleatorias estructuradas como hashes criptográficos y URLs acortadas encontradas en los datos de entrenamiento de LLM, para abordar los desafíos de auditar la privacidad de los modelos de lenguaje grandes. Los NIDs permiten auditorías escalables de privacidad diferencial post-hoc sin costoso reentrenamiento y facilitan la inferencia de conjuntos de datos sin requerir conjuntos de datos privados retenidos.
Este artículo investiga si el aumento parcial de datos puede lograr los mismos beneficios estadísticos que el aumento completo, desarrollando un marco basado en el análisis de Fourier y la teoría de representaciones de grupos finitos.