El autor observa que la mayoría de los modelos ajustados finamente cargados en Hugging Face tienen un rendimiento inferior al de sus contrapartes base, lo que los hace inútiles. Esta proliferación se atribuye a personas que utilizan estos modelos como una forma de acreditación profesional para conseguir puestos bien remunerados en IA.
Los autores presentan Polycepta, un marco de estimación del estado de apariencia centrado en objetos que reformula el modelado de la apariencia como un problema de estimación recursiva. A diferencia de los métodos tradicionales que dependen de descriptores estáticos e independientes del fotograma, Polycepta construye y actualiza continuamente estados de apariencia independientes para cada objeto rastreado. Este enfoque permite estimar representaciones futuras a partir de observaciones acumuladas en lugar de memorizarlas mediante una estrategia de aprendizaje específica. Una característica clave es que la calidad de la estimación de la apariencia mejora progresivamente a medida que los estados del objeto evolucionan durante la inferencia. El marco permite la estimación de la apariencia para clases no vistas al fomentar el aprendizaje de la construcción de representaciones específicas del objeto. Experimentos extensos en KITTI, Waymo Open Dataset y MOT17 demuestran reducciones consistentes en los cambios de identidad y un mejor rendimiento del seguimiento. Cuando se integra en el marco RobMOT, Polycepta opera a 90.57 Hz y alcanza una MOTA de 92.27% en el benchmark KITTI.
Los investigadores proponen un marco escalable para habilitar la fusión basada en conectividad lineal de modos para transformadores preentrenados de miles de millones de parámetros. Los métodos existentes típicamente optimizan rutas de interpolación desde solo un extremo del modelo, limitando la escalabilidad para arquitecturas grandes. El nuevo enfoque aplica transformaciones de pesos parametrizadas para alinear soluciones funcionalmente equivalentes y utiliza un procedimiento de aprendizaje dual donde ambos modelos aprenden conjuntamente transformaciones hacia una ruta compartida. Esta optimización bidireccional reduce sustancialmente las barreras de interpolación y mejora la fiabilidad de la fusión en modelos a gran escala. Empíricamente, el método logra barreras de pérdida cercanas a cero en WikiText para modelos de lenguaje de tamaño medio. En tareas de visión, ViT-L mantiene una precisión top-1 de ImageNet superior al 69% a lo largo de toda la ruta de interpolación. Los LLM modernos de miles de millones de parámetros exhiben solo pequeñas barreras de pérdida utilizando esta técnica.
Los esfuerzos recientes para integrar modelos de lenguaje grandes con el descubrimiento causal a menudo se basan en inferir estructuras de grafos o inyectar salidas como priors, lo que corre el riesgo de confundir asociaciones textuales con evidencia causal genuina. Los autores argumentan que los agentes deberían asistir en el flujo de trabajo inspeccionando datos, recuperando contexto y aclarando supuestos sin proporcionar aristas, orientaciones o conclusiones causales. Proponen un principio que asegura que las afirmaciones causales permanezcan fundamentadas en datos, supuestos explícitos, algoritmos formales, diagnósticos y decisiones de expertos. Para instanciar este enfoque, introducen causal-learn+, una plataforma en línea que coordina el preprocesamiento, la recomendación de métodos y la interpretación dentro del ecosistema causal-learn. Un estudio de caso sobre datos de personalidad Big Five demuestra un flujo de trabajo asistido por agentes que evita tratar la falta de fiabilidad de los modelos de lenguaje como evidencia causal. La plataforma está disponible en causallearn.com.
Los modelos de aprendizaje automático a menudo explotan correlaciones espurias, lo que lleva a una alta precisión promedio pero un mal rendimiento en subgrupos infrarrepresentados. Las estrategias de mitigación existentes generalmente ajustan los parámetros de la red utilizando anotaciones de subgrupos o pseudoetiquetas inferidas. Sin embargo, estos métodos generalmente solo producen una predicción de clase en el momento de la inferencia, careciendo de información sobre la estructura del subgrupo latente de una muestra. Para abordar esto, los autores proponen Árboles de Clasificación Neurales (NCT), un marco que codifica la estructura del subgrupo dentro de su arquitectura en forma de árbol. NCT enruta cada muestra a un nodo fácil o difícil según la corrección de la predicción y reutiliza estos caminos como pseudoetiquetas para iteraciones posteriores. Este proceso desacopla subgrupos conflictivos sin requerir supervisión explícita del subgrupo. El enfoque se evaluó en cinco conjuntos de datos que abarcan correlaciones espurias binarias y multiclase. Los experimentos demuestran que la topología del árbol aprendido aísla los subgrupos minoritarios, proporcionando una fuerte interpretabilidad y robustez competitiva en comparación con los métodos de última generación.
Los autores proponen un nuevo método de arranque en cascada llamado Autofiltrado para abordar el ruido en conjuntos de datos a gran escala de visión y lenguaje sin depender de supervisión manual ni referencias curadas. Este enfoque entrena un modelo CLIP en un conjunto de datos en evolución que equilibra muestras limpias filtradas de alta probabilidad con ejemplos diversos de toda la distribución. El proceso alterna entre entrenar el modelo y seleccionar una mezcla de datos mejorada para los pasos siguientes. Al refinar continuamente el conjunto de datos mediante este ciclo, el método reduce la necesidad de fuentes adicionales de datos externos. El estudio demuestra que entrenar con estos conjuntos de datos auto-seleccionados mejora eficazmente el rendimiento en tareas posteriores. Esta técnica opera independientemente de modelos preentrenados o estrategias de filtrado basadas en heurísticas.
El artículo presenta RECALL, un paradigma de aprendizaje activo y continuo para modelos Visión-Lenguaje-Acción que aborda las ineficiencias del aprendizaje por imitación pasiva. A diferencia de los métodos tradicionales que requieren fallos del robot para desencadenar la recolección de datos, este enfoque utiliza demostraciones de recuperación guiadas por incertidumbre para identificar proactivamente los estados que necesitan supervisión. Los autores demuestran que esta recolección de datos dirigida conduce a un ajuste fino más eficiente en comparación con las demostraciones recopiladas pasivamente. Sin embargo, el estudio revela que el ajuste fino exclusivamente con estos datos activos de recuperación provoca un olvido catastrófico de los comportamientos aprendidos previamente. Para mitigar este problema, el trabajo evalúa técnicas de aprendizaje continuo como la mezcla de datos basada en replay y la consolidación elástica de pesos. Estos experimentos destacan las compensaciones críticas entre la plasticidad para nuevas tareas y la retención de capacidades existentes en VLAs autoregresivos. En última instancia, la investigación establece que, aunque la recuperación guiada por incertidumbre mejora la eficiencia de adaptación, incorporar datos nuevos dirigidos a grandes políticas robóticas presenta desafíos abiertos significativos.
Los autores presentan DiT-Reward, un método que convierte un Diffusion Transformer preentrenado de texto a imagen en un modelo de recompensa agregando representaciones de imágenes condicionadas por texto a través de las capas del transformer. Evaluado con la misma mezcla de datos de entrenamiento que HPSv3, DiT-Reward supera a HPSv3 en los cuatro benchmarks de preferencia, alcanzando 85.6% en HPDv2 y 77.6% en HPDv3. El estudio revela que el rendimiento de recompensa en tareas posteriores es más fuerte en las capas intermedias a tardías y se beneficia al combinar representaciones de diferentes etapas. Incluso con un backbone generativo congelado, una cabeza aprendida ligera puede extraer predicciones de preferencia significativas de estas representaciones. Cuando se usa para optimizar Stable Diffusion 3.5 Large con Flow-GRPO, DiT-Reward supera a HPSv3 a lo largo de la trayectoria de entrenamiento coincidente, mostrando ganancias claras en realismo. Además, la puntuación directa de latentes proporciona una aceleración de inferencia de 1.65x sobre HPSv3 mientras mantiene un uso de memoria pico comparable. Estos resultados demuestran que los Diffusion Transformers generativos preentrenados proporcionan representaciones transferibles para el modelado de recompensa y la optimización de políticas.
Los investigadores desarrollaron QoR-compact, una encuesta diaria de cinco ítems diseñada para mejorar la adherencia en el monitoreo remoto de pacientes al reducir la carga del instrumento estándar de 15 preguntas Quality of Recovery (QoR-15). El estudio fue motivado por las bajas tasas de adherencia, donde solo el 55% de los pacientes posquirúrgicos completaron la encuesta completa durante más de la mitad de un período de 30 días. Para abordar esto, el equipo evaluó exhaustivamente todos los 3.003 subconjuntos posibles de cinco preguntas para identificar el subconjunto que mejor predice la gravedad de la recuperación posoperatoria a corto plazo. Los ítems seleccionados de QoR-compact cubren ejes físicos y psicológicos, abordando específicamente el descanso, la comodidad, el bienestar, el dolor y la ansiedad. Las pruebas retrospectivas demostraron que QoR-compact logra un AUC-ROC medio de 0.968, que es estadísticamente comparable al rendimiento base de un tercio de los ítems del instrumento completo. El modelo rastrea eventos de readmisión con una fidelidad similar a la forma completa, estableciendo su validez como herramienta predictiva. Si bien los autores señalan que se requiere validación externa en cohortes más grandes antes del uso clínico, los resultados respaldan estudios prospectivos sobre si esta entrada más ligera mejora la consistencia de la finalización diaria.
Las puntuaciones de exposición de Eloundou et al. (2023) definen la exposición a la IA como la proporción de tareas ocupacionales que los modelos de lenguaje grandes pueden asistir, convirtiéndose en un insumo central en los debates sobre el futuro del trabajo. Estas medidas estáticas adolecen de limitaciones temporales, geográficas y ontológicas que a menudo no se trasladan con ellas a los análisis de políticas. Los autores identifican dos brechas principales: desajustes estructurales entre las puntuaciones estáticas y las necesidades dinámicas de las políticas, y una coordinación insuficiente entre investigadores y formuladores de políticas. Para abordar las limitaciones de medición, el artículo revisa cinco familias de investigación que incluyen benchmarks dinámicos, métodos de conjunto, extensiones de marcos de tareas, métricas centradas en el trabajador y datos de adopción. La segunda brecha requiere un trabajo político deliberado para reimaginar los resultados futuros en lugar de depender únicamente de una mejor medición. Los formuladores de políticas deben ampliar su base de evidencia, involucrar a los trabajadores como socios y pasar de la predicción a la preparación. Se insta a los investigadores a construir infraestructura de datos, adoptar métodos participativos y escribir teniendo en cuenta a los formuladores de políticas.
El proyecto llama.cpp ha lanzado la versión b9835, que incluye una corrección para la funcionalidad de detención y omisión del razonamiento en el modo de modelo único. Esta actualización aborda problemas específicos dentro de la interfaz de usuario para mejorar el control durante la inferencia del modelo.
Los autores abordan el desafío de entrenar políticas de aprendizaje por refuerzo con recompensas de resultado inherentemente dispersas, lo que conduce a problemas difíciles de asignación de crédito. Proponen un método para transformar estas recompensas dispersas en recompensas densas del proceso mediante el entrenamiento de un discriminador para distinguir entre episodios exitosos y no exitosos. Este discriminador incentiva a la política a coincidir con las visitas al estado-acción de los episodios exitosos mientras evita las de los no exitosos. Al proporcionar retroalimentación densa sobre el progreso hacia la finalización de la tarea, el enfoque logra esto de manera demostrable sin alterar la política óptima. El método se aplica específicamente al ajuste fino de políticas de control robótico para tareas de manipulación. Los resultados experimentales demuestran un rendimiento significativamente más rápido en el ajuste fino de RL tanto en entornos simulados como del mundo real en comparación con maximizar únicamente las recompensas de resultado dispersas.
Los autores presentan TailorMind, un sistema para la generación personalizada de contenido multimodal que produce salidas adaptadas al usuario sin depender de conjuntos de elementos existentes ni esperar a que se genere contenido por parte del usuario. El enfoque vincula el modelado colaborativo de preferencias con la generación multimodal controlable, enriqueciendo los historiales escasos de los usuarios mediante filtrado colaborativo basado en hipergrafos. Además, optimiza los perfiles textuales utilizando retroalimentación de error de clasificación y descenso de gradiente textual para capturar mejor las preferencias del usuario. Para garantizar la calidad, el sistema emplea un control de estilo aumentado por recuperación basado en patrones auténticos y una reflexión de cohesión multimodal para reducir la deriva semántica. Los investigadores también presentan TailorBench, un conjunto de evaluación evaluado en cinco dimensiones que incluyen coherencia, novedad, calidad estética, alucinación y perfilado. Los experimentos demuestran que TailorMind logra una coherencia competitiva o superior en comparación con los modelos base, mientras mejora la novedad y la calidad estética sobre modelos de generación representativos y datos de referencia. Además, el sistema muestra ventajas sobre la recuperación de contenido disponible y alcanza ganancias de hasta un 29% en Recall en tareas de reordenamiento.
Los modelos de lenguaje modernos típicamente asignan parámetros uniformemente a través de capas idénticas, a pesar de la evidencia de que las capas posteriores principalmente refinan el flujo residual en lugar de transformarlo. Para abordar esta asimetría, los investigadores investigaron si la capacidad de parámetros debería variar según la profundidad bajo un presupuesto fijo. Experimentos controlados demostraron que asignar más capacidad a las capas iniciales y menos a las capas posteriores mejora la perplejidad en comparación con las líneas base uniformes, mientras que la asignación inversa degrada el rendimiento. Basándose en estos resultados, los autores introducen Modelos de Lenguaje Conicos (TLMs), un principio arquitectónico donde los componentes portadores de parámetros se reducen monótonamente a través de la profundidad. Los MLP sirven como el sitio principal para esta instanciación debido a su dominio en el conteo de parámetros y su claro eje de anchura. El estudio probó la reducción mediante un programa coseno suave a través de tres escalas de modelo y cuatro arquitecturas, incluyendo Transformer, Gated Attention, Hope-attention y Titans. Los resultados muestran que los TLMs mejoran consistentemente la perplejidad y el rendimiento en benchmarks posteriores sobre las líneas base uniformes sin costos adicionales de cómputo. Estos hallazgos establecen la asignación de capacidad consciente de la profundidad como una palanca de diseño simple y agnóstica a la arquitectura para modelos de lenguaje.
Este artículo detalla las innovaciones algorítmicas desarrolladas para el Desafío de Razonamiento del Modelo NVIDIA Nemotron, orientado específicamente a acertijos de manipulación de bits donde los modelos deben deducir reglas lógicas ocultas. Para abordar la explosión combinatoria de las operaciones bitwise y las alucinaciones de los LLM, los autores abandonan la lógica aritmética en favor de la similitud de cadenas y la búsqueda estructurada. La contribución principal reformula la deducción de puertas lógicas como una tarea de selección de base utilizando el mínimo número de cambios de bits para aislar transformaciones primitivas. Se formaliza un proceso de búsqueda en profundidad con retroceso para probar candidatos, detectar colisiones lógicas y realizar recuperación robusta de errores. Además, el método emplea tokenización de bits y ajuste fino supervisado de razonamiento interactivo con enmascaramiento dinámico para simular retroalimentación de oráculo. Evaluado en estos acertijos, el enfoque logró más del 96% de precisión en validación. Este rendimiento aseguró el resultado más alto en la categoría y un séptimo lugar en el concurso general.
El estudio presenta PsyBridge, un marco inteligente híbrido diseñado para abordar las limitaciones de los instrumentos de cribado aislados en la evaluación de la salud mental. Este sistema integra herramientas clínicamente validadas como PHQ-9 y GAD-7 con evaluación cognitiva y perfilado de personalidad dentro de una arquitectura unificada. Un diseño modular que emplea un mecanismo de agregación ponderada genera clasificaciones de riesgo interpretables y recomendaciones para los usuarios. Para evaluar el rendimiento, los investigadores construyeron un conjunto de datos semi-sintético compuesto por 500 perfiles de pacientes basados en distribuciones de puntuaciones fundamentadas clínicamente. Los resultados experimentales muestran que PsyBridge alcanza una precisión general de 0.84, superando las evaluaciones independientes de PHQ-9 y GAD-7. El marco también demuestra mejoras en precisión, recall y F1-score en comparación con los métodos existentes. El análisis de sensibilidad confirma que integrar componentes cognitivos y de personalidad estabiliza el rendimiento de la clasificación y reduce las inconsistencias en la predicción. Estos hallazgos sugieren que PsyBridge ofrece un enfoque escalable para el apoyo a la decisión asistido por IA en entornos de atención digital.
AdamW sirve como el optimizador estándar para entrenar modelos de lenguaje grandes, sin embargo, su fundamento teórico permanece en gran medida confinado a regímenes de varianza finita. Esta brecha es significativa porque la evidencia empírica sugiere que el ruido del gradiente estocástico durante el preentrenamiento de LLM típicamente exhibe características de cola pesada. Estudios recientes han demostrado que optimizadores basados en signo como Lion y Muon logran tasas de convergencia agudas bajo condiciones de cola pesada, mientras que AdaGrad también converge en este entorno. Sin embargo, la teoría rigurosa de convergencia para AdamW aún no se ha establecido dentro de estas suposiciones de cola pesada. Los autores plantean un problema abierto sobre si AdamW puede converger bajo las mismas suposiciones de cola pesada o si su acumulador de segundo momento crea una obstrucción genuina. Para abordar esto, formulan un punto de referencia positivo con métrica ponderada y proporcionan un mecanismo de cota inferior de corredor. Este mecanismo ilustra cómo la memoria del denominador en AdamW puede ocultar efectivamente grandes gradientes, impactando potencialmente su rendimiento.
Este artículo presenta AIR, un método que potencia a los modelos de lenguaje multimodales grandes con capacidades de razonamiento entrelazado adaptativo mediante entrenamiento extendido de aprendizaje por refuerzo en tareas de cómputo numérico complejo aumentadas con código. Los autores abordan la limitación de la literatura existente, que se centra principalmente en el uso de herramientas dentro de tareas de percepción visual y depende de heurísticas predefinidas incapaces de manejar cálculos numéricos. Para resolver esto, proponen una solución integral de tres componentes que incluye un pipeline de construcción de datos de inicio en frío en dos etapas, estrategias de filtrado de datos para la curación del conjunto de datos de aprendizaje por refuerzo y una estrategia de invocación de herramientas adaptativa que aprovecha una función de recompensa con restricciones de grupo. Experimentos extensos demuestran que después del entrenamiento de aprendizaje por refuerzo con esta función de recompensa, el rendimiento mejora en un promedio de 6.1 puntos porcentuales en los benchmarks de evaluación. Específicamente, la precisión para muestras de razonamiento entrelazado aumenta en 9.9 puntos porcentuales, mientras que la tasa de éxito general del uso de herramientas supera el 95 por ciento. Los investigadores proporcionan sus datos y código para acceso público en un repositorio de GitHub especificado.
Los modelos modernos de texto a imagen a menudo sufren de colapso de diversidad a pesar de su alta fidelidad. Los autores introducen Navegación Semántica para habilitar una diversidad controlada a través de galerías de imágenes estructuradas. Este método permite a los usuarios navegar por ejes significativos de variación en lugar de ruido incidental. El enfoque explota el desacoplamiento entre la toma de decisiones semánticas y la generación de píxeles en modelos recientes. La diversidad se induce directamente a nivel textual utilizando representaciones textuales ricas. Un Modelo de Lenguaje Visual opera sobre el contexto completo de la escena dentro de un flujo de trabajo agente. Este flujo de trabajo aplica explícitamente una variación estructurada ajustada al prompt original. El resultado es un espacio de diseño navegable con decisiones semánticas interpretables.
Los autores presentan CoorDex, una tubería de aprendizaje que permite la manipulación diestra de alto grado de libertad en humanoides en movimiento. Este enfoque convierte el control de cuerpo y mano de alta dimensión en un control residual latente coordinado, superando las limitaciones de los métodos tradicionales de parada y arranque. El sistema entrena maestros de seguimiento de movimiento privilegiado a partir de demostraciones simuladas y los destila en priors latentes condicionados por propiocepción. Estos priors congelados sirven como el espacio de acción para el aprendizaje por refuerzo residual posterior mediante una política que compone el contexto de la tarea con cabezales residuales separados para cuerpo y mano. CoorDex permite a un humanoide Unitree G1 equipado con una mano WUJI de 20-DoF realizar tareas complejas mientras se mueve, como la captura continua de botellas y la apertura de puertas de refrigerador. Los estudios de ablation demuestran que el PPO en el espacio joint-space y la predicción latente monolítica fallan bajo presupuestos de recompensa similares, mientras que la interfaz de prior latente propuesta garantiza la entrenabilidad para la manipulación rica en contactos.