Este artículo aborda la falta de una teoría rigurosa de convergencia para el optimizador AdamW en regímenes con ruido estocástico de gradiente pesado de cola, común en el preentrenamiento de grandes modelos de lenguaje. Cuestiona si AdamW puede converger bajo estas condiciones o si su acumulador de segundo momento crea una obstrucción genuina.
Este artículo presenta Semantic Browsing, un método para generar diversidad controlada en modelos de texto a imagen al imponer estructura a las muestras generadas con el fin de superar la falta de variación significativa en los sistemas actuales. El enfoque induce diversidad directamente a nivel textual en lugar de depender de variaciones estocásticas dentro del modelo.
Los autores presentan CoorDex, una tubería de aprendizaje que permite la manipulación diestra de alto grado de libertad en humanoides móviles al convertir el control del cuerpo y la mano en un control residual latente coordinado. Este enfoque permite que el humanoide Unitree G1 realice tareas complejas como agarrar botellas sin parar y abrir puertas de refrigerador mientras se mueve.
AutoDex es un sistema automatizado diseñado para cerrar el ciclo de la recopilación de datos de agarre diestro en el mundo real, gestionando la percepción, la ejecución, la etiquetación y el reinicio sin intervención humana. Aborda los problemas de escalabilidad de la teleoperación y la falta de certificación física en simulación generando candidatos de agarre y verificándolos en hardware real.
Este estudio propone una red neuronal físicamente informada unificada dura-blanda (HSPINN) con ponderación adaptativa de la pérdida para abordar la lenta convergencia y la aplicación inexacta de las condiciones de frontera de las PINN convencionales. El marco aplica exactamente las condiciones de frontera de Dirichlet y periódicas mediante elevación analítica o enmascaramiento, mientras trata los residuos de las EDP y las condiciones iniciales como restricciones blandas equilibradas por una estrategia de softmax inverso-proporcional.
El artículo presenta ChemGuard, un protocolo operativo que formaliza la etapa de admisión pasada por alto en los pipelines de aprendizaje molecular al requerir cadenas sanitizables y una reconstrucción gráfica consistente. Este marco revela que muchas backdoors basadas en grafos existentes pierden eficacia porque sus venenos son químicamente inválidos o inconsistentes con la representación.
Este artículo aborda el desafío del sobreajuste en modelos de lenguaje grandes utilizados en contextos de derecho penal del Tribunal Federal Suizo, donde las barreras de seguridad del modelo frecuentemente activan rechazos al procesar detalles sensibles de casos. Los autores presentan TF-RefusalBench, una evaluación multilingüe derivada de fallos públicos, para medir este fenómeno en francés, alemán, italiano e inglés.
Este estudio presenta transformers basados en energía como una nueva medida para predecir la dificultad de lectura humana, estableciendo un vínculo formal entre los modelos transformer y la literatura sobre memoria asociativa, como las redes de Hopfield.
Los autores proponen Diffusion-LLM, un marco que integra un modelo de difusión condicional en una pipeline basada en LLM para abordar desafíos en el pronóstico multimodal de series temporales. Este diseño conjunto permite el aprendizaje de las distribuciones futuras de datos mientras mejora la alineación semántica dentro de un espacio latente compartido.
Este artículo presenta un marco de trabajo humano-en-el-bucle para identificar y reparar automáticamente errores semánticos en modelos SysML v2 que los compiladores no pueden detectar. El enfoque combina Pequeños Modelos de Lenguaje ajustados finamente con un grafo de conocimiento del dominio para fundamentar las sugerencias de reparación en restricciones de ingeniería válidas.
Litmus es un sistema sin etiquetas que diseña métricas de evaluación y monitoreo para pipelines de IA al elicitar la intención de evaluación a partir del código fuente y el interrogatorio dirigido. En lugar de asumir que el objetivo de la evaluación es conocido, identifica lo que debe medirse y por qué para construir un portafolio de métricas justificado.
La aparición de Modelos de Razonamiento Grandes ha introducido trazas de Chain-of-Thought excepcionalmente largas, creando una carga de transparencia donde la lógica crítica a menudo queda enterrada bajo un texto procedural masivo. Para abordar esto, los autores presentan ReasoningLens, un marco de código abierto diseñado para la visualización jerárquica y la auditoría diagnóstica de cadenas de razonamiento complejas.
HyperQuant es una canalización unificada de cuantización post-entrenamiento diseñada para los pesos y la caché KV de transformadores grandes de lenguaje y difusión, combinando transformadas de Hadamard con cuantización óptima de retículos. El método supera a esquemas recientes como HIGGS, TurboQuant y OCTOPUS en varias tasas de bits mientras mantiene una calidad casi sin pérdidas.
Los autores presentan Locate-and-Judge, un detector de dos etapas diseñado para identificar habilidades maliciosas en mercados de agentes LLM donde las defensas tradicionales contra inyección de prompts fallan.
Este artículo examina los conceptos de humanismo digital y diseño evolutivo para identificar sus estructuras comunes, sinergias y desafíos en el contexto del desarrollo tecnológico centrado en el ser humano.
Los investigadores proponen GRINQH, un marco de cuantización post-entrenamiento solo de pesos que acelera la decodificación de modelos de lenguaje grandes al unificar la cuantización y la esparsificación. El método aprovecha las magnitudes de activación para asignar dinámicamente los canales de peso a diferentes niveles de precisión, abordando la naturaleza limitada por memoria de la etapa de decodificación.
El artículo presenta STAITUS, un marco unificado para el seguimiento no supervisado de objetos en vídeo que aborda las limitaciones de los métodos basados en slots al desacoplar explícitamente la apariencia de la pose geométrica. Este enfoque resuelve los conflictos entre la consistencia temporal y el movimiento del objeto, evitando que los slots se fijen en fondos estáticos.
Este estudio propone un marco adaptativo de Mezcla de Expertos (MoE) que integra EfficientNet-B0, DenseNet-121 y Swin-Tiny para abordar los desafíos en la clasificación de enfermedades en hojas de plantas bajo fondos complejos e desequilibrio de clases.
Los autores presentan el Aprendizaje por Refuerzo Secuencial-Paralelo-Agregativo (SPIRAL), un marco que entrena modelos de lenguaje para utilizar simultáneamente primitivas de razonamiento secuencial, paralelo y agregativo. A diferencia de los métodos estándar de post-entrenamiento que optimizan únicamente para el razonamiento secuencial de una sola traza, SPIRAL unifica estos componentes en una única canalización de cómputo de inferencia. El modelo primero muestrea trazas independientes en paralelo utilizando razonamiento cadena-de-pensamiento y luego genera una traza de agregación final condicionada a esas entradas. Todo este proceso se optimiza de extremo a extremo contra la recompensa de la respuesta agregada final utilizando técnicas de aprendizaje por refuerzo basado en conjuntos y aprendizaje por refuerzo estándar. Los experimentos en tareas de razonamiento demuestran que SPIRAL escala efectivamente con los recursos de cómputo de inferencia. El enfoque supera a GRPO hasta 11 veces en eficiencia de escalado y logra un 15% más de rendimiento cuando se escalan las tres primitivas de cómputo.
Este estudio aplica autoencoders dispersos a MolFormer para examinar mecánicamente cómo se construyen las representaciones moleculares a través de las capas, desafiando la suposición de que los modelos de lenguaje químicos solo aprenden sintaxis superficial.