korshunov.ai
Español
Todos los artículos Página 1 / 109
arxiv arXiv cs.AI · hace 3 h

KORE: Leyes de Escalamiento Óptimo de Kolmogorov para Regresión por Splines

Los investigadores proponen KORE, un método que resuelve la resolución óptima del spline en forma cerrada en lugar de depender de la búsqueda de hiperparámetros. El enfoque aprovecha la teoría clásica de aproximación para fijar el sesgo al cuadrado a la n-amplitud de Kolmogorov y utiliza la identidad PRESS para la estimación del error de eliminación uno a uno. Al equilibrar estas curvas conocidas, el algoritmo determina analíticamente el minimizador sin barridos exhaustivos de cuadrícula. KORE extiende este cálculo a altas dimensiones reemplazando la dimensión ambiental de entrada con el orden de interacción en una descomposición ANOVA. El algoritmo ajusta dos resoluciones piloto y resuelve un sistema calibrado por apalancamiento para evaluar la resolución plug-in con el mínimo cómputo. En objetivos aditivos y pares dispersos hasta 80 dimensiones, KORE iguala la precisión de la validación cruzada exhaustiva mientras ajusta aproximadamente ocho veces menos modelos. En 36 conjuntos de datos tabulares reales, ocupó el primer lugar entre 21 métodos en precisión por unidad de cómputo.
arxiv arXiv cs.AI · hace 3 h

Kamera: Caché de KV multimodal invariante a la posición sin entrenamiento para reutilización eficiente

Los autores presentan Kamera, un método que permite la reutilización sin entrenamiento de cachés de clave-valor multimodales abordando la pérdida de condicionamiento entre fragmentos en el almacenamiento en caché de prefijos ingenuo. La fusión estándar de estados recupera las lecturas directas pero falla en preservar el residuo difuso y de rango bajo en las capas profundas, esencial para el razonamiento multi-paso, lo que reduce la precisión a la mitad. Para reparar esto, Kamera almacena un pequeño parche de condicionamiento de rango bajo sin entrenamiento junto con cada fragmento independiente de posición. Este enfoque permite la re-rotación exacta de RoPE y la restauración del enlace entre fragmentos en los mecanismos de atención MLA, GQA y MHA. El sistema soporta operaciones baratas de reordenamiento, supervivencia de ventana deslizante y recuperación sin requerir re-codificación de los fragmentos expulsados. Los experimentos muestran que un parche de rango r recupera la precisión completa de la tarea en benchmarks de enlace entre fragmentos como MM-NIAH y doc-QA de dos páginas. La solución reconstruye el KV de re-llenado dentro del redondeo bf16 en un kernel SGLang de producción a través de seis backbones mientras mantiene una fracción de la huella original de KV.
arxiv arXiv cs.AI · hace 3 h

Gestión descentralizada del tráfico autónomo mediante redes de corredores

Este estudio aborda la insuficiencia de la gestión centralizada para el tráfico de aeronaves autónomas de alta densidad, proponiendo un enfoque descentralizado que utiliza aprendizaje por refuerzo multiagente. Los investigadores extienden este marco MARL para gestionar el flujo de tráfico dentro de complejas redes de corredores aéreos con fusiones y divisiones. Las políticas entrenadas en entornos de corredor único se prueban en escenarios de múltiples corredores cada vez más complejos de manera zero-shot, sin necesidad de reentrenamiento. Los resultados experimentales muestran que los comportamientos aprendidos se transfieren eficazmente entre distintas densidades de tráfico, geometrías de red y desempeños heterogéneos de vehículos. La evaluación mide el rendimiento a nivel del sistema mediante la conformidad con los límites, las tasas de finalización, las velocidades promedio, la distancia recorrida y la separación entre aeronaves. A pesar de requerir solo comportamientos de entrada, tránsito y salida coordinados localmente, las acciones colectivas producen flujos de tráfico deseables en toda la red de corredores.
arxiv arXiv cs.AI · hace 3 h

Enactor: Un modelo generativo para microsimulación en bucle cerrado de intersecciones semaforizadas

Los autores presentan Enactor, un modelo generativo centrado en el actor, diseñado para la microsimulación en bucle cerrado en intersecciones semaforizadas. A diferencia de los simuladores tradicionales que dependen de reglas elaboradas a mano o predictores de horizonte corto, Enactor se centra en la dinámica vehicular mientras trata a los peatones como influencias contextuales. La arquitectura codifica actores dinámicos y polilíneas de carril en coordenadas polares con respecto al centro de la intersección. Un transformador con bloques de atención espacial y temporal separados predice una distribución sobre los parámetros de movimiento del siguiente paso para cada actor. El entrenamiento emplea un currículo en bucle cerrado, exponiendo el modelo a sus propias predicciones para garantizar estabilidad durante la simulación. Las evaluaciones en dos geometrías de intersección muestran que Enactor recupera las distribuciones del generador de datos SUMO con una divergencia KL significativamente menor que los transformadores base. El modelo también reduce las infracciones de luz roja en más de un orden de magnitud y supera a los modelos base de velocidad constante en datos de campo del mundo real.
arxiv arXiv cs.AI · hace 3 h

La homología persistente detecta y dirige las respuestas de los LLM hacia preguntas mal planteadas

Los investigadores proponen utilizar la homología persistente finita de dimensión cero para representar la topología de preguntas mal planteadas dentro de modelos de lenguaje grandes. El método modela los estados ocultos contextuales como nubes de puntos, resumiendo cada capa del transformador con tres descriptores: vida media finita, entropía de vida normalizada y concentración de mayor vida. Estos descriptores se concatenan a través de las capas para formar una representación topológica unificada del estado interno de la consulta. El estudio introduce el direccionamiento de activación condicionado por topología, que recupera ejemplos similares para construir intervenciones que fomenten la aclaración o la abstención. Las evaluaciones en AmbigQA, SituatedQA y CLAMBER muestran que este enfoque supera a las líneas base basadas en prompts, mejorando la precisión de clasificación del 67.4% al 78.9% en AmbigQA. En SituatedQA, la precisión aumentó del 79.9% al 88.5%, mientras que CLAMBER registró ganancias del 57.6% al 69.6%. Además, el mecanismo de direccionamiento elevó la tasa promedio total de respuestas aceptables del 61.4% al 70.6% en tres LLM de peso abierto.
arxiv arXiv cs.AI · hace 3 h

Contra la optimización de proxy

El autor analiza las condiciones bajo las cuales maximizar una función de utilidad proxy puede llevar a resultados perjudiciales. Este análisis sugiere que dichos escenarios plantean problemas significativos para la aplicación de la teoría de la decisión estándar. El texto destaca circunstancias específicas donde la optimización de un objetivo sustituto se desvía de los resultados esperados. Estos hallazgos desafían la robustez de los marcos teóricos actuales utilizados en inteligencia artificial y economía. Al identificar estos modos de fallo, el trabajo tiene como objetivo refinar cómo deben diseñarse los agentes para evitar consecuencias no deseadas.
arxiv arXiv cs.LG · hace 3 h

Supervisión de límites guiada por entropía para la segmentación de ultrasonido mamario

Este estudio introduce un método de supervisión de límites guiado por entropía para abordar la fuga de límites y las activaciones falsas positivas en la segmentación de ultrasonido mamario. La función de pérdida propuesta escala las penalizaciones del contorno mediante la entropía predictiva por píxel y los mapas de verdad fundamental, enfocando la importancia del gradiente en los márgenes de la lesión inciertos. Evaluado en el conjunto de datos BUSI, el método preservó la calidad de la segmentación de lesiones con una puntuación media Dice de 0.7624, estadísticamente indistinguible de la línea base. Sin embargo, mejoró significativamente la especificidad al reducir las activaciones falsas positivas en imágenes sin lesión de 19 de 20 a 5 de 20. Un paso posterior de escalado térmico espacial redujo aún más el error de calibración esperado de 0.0201 a 0.0095 sin alterar las máscaras de segmentación. Estos resultados demuestran que la supervisión guiada por entropía y la calibración espacial funcionan como refinamientos complementarios dentro de un marco U-Net.
arxiv arXiv cs.AI · hace 4 h

Polycepta: Estimación de apariencia centrada en objetos para seguimiento multi-objeto

Los autores presentan Polycepta, un marco de estimación del estado de apariencia centrado en objetos que reformula el modelado de la apariencia como un problema de estimación recursiva. A diferencia de los métodos tradicionales que dependen de descriptores estáticos e independientes del fotograma, Polycepta construye y actualiza continuamente estados de apariencia independientes para cada objeto rastreado. Este enfoque permite estimar representaciones futuras a partir de observaciones acumuladas en lugar de memorizarlas mediante una estrategia de aprendizaje específica. Una característica clave es que la calidad de la estimación de la apariencia mejora progresivamente a medida que los estados del objeto evolucionan durante la inferencia. El marco permite la estimación de la apariencia para clases no vistas al fomentar el aprendizaje de la construcción de representaciones específicas del objeto. Experimentos extensos en KITTI, Waymo Open Dataset y MOT17 demuestran reducciones consistentes en los cambios de identidad y un mejor rendimiento del seguimiento. Cuando se integra en el marco RobMOT, Polycepta opera a 90.57 Hz y alcanza una MOTA de 92.27% en el benchmark KITTI.
arxiv arXiv cs.AI · hace 4 h

La coincidencia aprendida dualmente permite la conectividad lineal de modos para transformadores de miles de millones de parámetros

Los investigadores proponen un marco escalable para habilitar la fusión basada en conectividad lineal de modos para transformadores preentrenados de miles de millones de parámetros. Los métodos existentes típicamente optimizan rutas de interpolación desde solo un extremo del modelo, limitando la escalabilidad para arquitecturas grandes. El nuevo enfoque aplica transformaciones de pesos parametrizadas para alinear soluciones funcionalmente equivalentes y utiliza un procedimiento de aprendizaje dual donde ambos modelos aprenden conjuntamente transformaciones hacia una ruta compartida. Esta optimización bidireccional reduce sustancialmente las barreras de interpolación y mejora la fiabilidad de la fusión en modelos a gran escala. Empíricamente, el método logra barreras de pérdida cercanas a cero en WikiText para modelos de lenguaje de tamaño medio. En tareas de visión, ViT-L mantiene una precisión top-1 de ImageNet superior al 69% a lo largo de toda la ruta de interpolación. Los LLM modernos de miles de millones de parámetros exhiben solo pequeñas barreras de pérdida utilizando esta técnica.
arxiv arXiv cs.AI · hace 4 h

Descubrimiento causal en la era de los agentes

Los esfuerzos recientes para integrar modelos de lenguaje grandes con el descubrimiento causal a menudo se basan en inferir estructuras de grafos o inyectar salidas como priors, lo que corre el riesgo de confundir asociaciones textuales con evidencia causal genuina. Los autores argumentan que los agentes deberían asistir en el flujo de trabajo inspeccionando datos, recuperando contexto y aclarando supuestos sin proporcionar aristas, orientaciones o conclusiones causales. Proponen un principio que asegura que las afirmaciones causales permanezcan fundamentadas en datos, supuestos explícitos, algoritmos formales, diagnósticos y decisiones de expertos. Para instanciar este enfoque, introducen causal-learn+, una plataforma en línea que coordina el preprocesamiento, la recomendación de métodos y la interpretación dentro del ecosistema causal-learn. Un estudio de caso sobre datos de personalidad Big Five demuestra un flujo de trabajo asistido por agentes que evita tratar la falta de fiabilidad de los modelos de lenguaje como evidencia causal. La plataforma está disponible en causallearn.com.
arxiv arXiv cs.AI · hace 4 h

Los Árboles de Clasificación Neurales Desacoplan Subgrupos Latentes para ML Robusto

Los modelos de aprendizaje automático a menudo explotan correlaciones espurias, lo que lleva a una alta precisión promedio pero un mal rendimiento en subgrupos infrarrepresentados. Las estrategias de mitigación existentes generalmente ajustan los parámetros de la red utilizando anotaciones de subgrupos o pseudoetiquetas inferidas. Sin embargo, estos métodos generalmente solo producen una predicción de clase en el momento de la inferencia, careciendo de información sobre la estructura del subgrupo latente de una muestra. Para abordar esto, los autores proponen Árboles de Clasificación Neurales (NCT), un marco que codifica la estructura del subgrupo dentro de su arquitectura en forma de árbol. NCT enruta cada muestra a un nodo fácil o difícil según la corrección de la predicción y reutiliza estos caminos como pseudoetiquetas para iteraciones posteriores. Este proceso desacopla subgrupos conflictivos sin requerir supervisión explícita del subgrupo. El enfoque se evaluó en cinco conjuntos de datos que abarcan correlaciones espurias binarias y multiclase. Los experimentos demuestran que la topología del árbol aprendido aísla los subgrupos minoritarios, proporcionando una fuerte interpretabilidad y robustez competitiva en comparación con los métodos de última generación.
arxiv arXiv cs.AI · hace 4 h

Autofiltrado: Selección iterativa de datos para modelos de visión y lenguaje

Los autores proponen un nuevo método de arranque en cascada llamado Autofiltrado para abordar el ruido en conjuntos de datos a gran escala de visión y lenguaje sin depender de supervisión manual ni referencias curadas. Este enfoque entrena un modelo CLIP en un conjunto de datos en evolución que equilibra muestras limpias filtradas de alta probabilidad con ejemplos diversos de toda la distribución. El proceso alterna entre entrenar el modelo y seleccionar una mezcla de datos mejorada para los pasos siguientes. Al refinar continuamente el conjunto de datos mediante este ciclo, el método reduce la necesidad de fuentes adicionales de datos externos. El estudio demuestra que entrenar con estos conjuntos de datos auto-seleccionados mejora eficazmente el rendimiento en tareas posteriores. Esta técnica opera independientemente de modelos preentrenados o estrategias de filtrado basadas en heurísticas.
arxiv arXiv cs.AI · hace 4 h

RECALL: Aprendizaje Activo Continuo para Modelos Visión-Lenguaje-Acción

El artículo presenta RECALL, un paradigma de aprendizaje activo y continuo para modelos Visión-Lenguaje-Acción que aborda las ineficiencias del aprendizaje por imitación pasiva. A diferencia de los métodos tradicionales que requieren fallos del robot para desencadenar la recolección de datos, este enfoque utiliza demostraciones de recuperación guiadas por incertidumbre para identificar proactivamente los estados que necesitan supervisión. Los autores demuestran que esta recolección de datos dirigida conduce a un ajuste fino más eficiente en comparación con las demostraciones recopiladas pasivamente. Sin embargo, el estudio revela que el ajuste fino exclusivamente con estos datos activos de recuperación provoca un olvido catastrófico de los comportamientos aprendidos previamente. Para mitigar este problema, el trabajo evalúa técnicas de aprendizaje continuo como la mezcla de datos basada en replay y la consolidación elástica de pesos. Estos experimentos destacan las compensaciones críticas entre la plasticidad para nuevas tareas y la retención de capacidades existentes en VLAs autoregresivos. En última instancia, la investigación establece que, aunque la recuperación guiada por incertidumbre mejora la eficiencia de adaptación, incorporar datos nuevos dirigidos a grandes políticas robóticas presenta desafíos abiertos significativos.
arxiv arXiv cs.AI · hace 4 h

DiT-Reward: Usar representaciones de Diffusion Transformer para modelado de recompensa en texto a imagen

Los autores presentan DiT-Reward, un método que convierte un Diffusion Transformer preentrenado de texto a imagen en un modelo de recompensa agregando representaciones de imágenes condicionadas por texto a través de las capas del transformer. Evaluado con la misma mezcla de datos de entrenamiento que HPSv3, DiT-Reward supera a HPSv3 en los cuatro benchmarks de preferencia, alcanzando 85.6% en HPDv2 y 77.6% en HPDv3. El estudio revela que el rendimiento de recompensa en tareas posteriores es más fuerte en las capas intermedias a tardías y se beneficia al combinar representaciones de diferentes etapas. Incluso con un backbone generativo congelado, una cabeza aprendida ligera puede extraer predicciones de preferencia significativas de estas representaciones. Cuando se usa para optimizar Stable Diffusion 3.5 Large con Flow-GRPO, DiT-Reward supera a HPSv3 a lo largo de la trayectoria de entrenamiento coincidente, mostrando ganancias claras en realismo. Además, la puntuación directa de latentes proporciona una aceleración de inferencia de 1.65x sobre HPSv3 mientras mantiene un uso de memoria pico comparable. Estos resultados demuestran que los Diffusion Transformers generativos preentrenados proporcionan representaciones transferibles para el modelado de recompensa y la optimización de políticas.
arxiv arXiv cs.AI · hace 4 h

QoR-compact: Una encuesta diaria de cinco ítems para el monitoreo remoto de pacientes

Los investigadores desarrollaron QoR-compact, una encuesta diaria de cinco ítems diseñada para mejorar la adherencia en el monitoreo remoto de pacientes al reducir la carga del instrumento estándar de 15 preguntas Quality of Recovery (QoR-15). El estudio fue motivado por las bajas tasas de adherencia, donde solo el 55% de los pacientes posquirúrgicos completaron la encuesta completa durante más de la mitad de un período de 30 días. Para abordar esto, el equipo evaluó exhaustivamente todos los 3.003 subconjuntos posibles de cinco preguntas para identificar el subconjunto que mejor predice la gravedad de la recuperación posoperatoria a corto plazo. Los ítems seleccionados de QoR-compact cubren ejes físicos y psicológicos, abordando específicamente el descanso, la comodidad, el bienestar, el dolor y la ansiedad. Las pruebas retrospectivas demostraron que QoR-compact logra un AUC-ROC medio de 0.968, que es estadísticamente comparable al rendimiento base de un tercio de los ítems del instrumento completo. El modelo rastrea eventos de readmisión con una fidelidad similar a la forma completa, estableciendo su validez como herramienta predictiva. Si bien los autores señalan que se requiere validación externa en cohortes más grandes antes del uso clínico, los resultados respaldan estudios prospectivos sobre si esta entrada más ligera mejora la consistencia de la finalización diaria.
arxiv arXiv cs.AI · hace 4 h

Puntuaciones de exposición a la IA: Limitaciones de las métricas estáticas y la necesidad de coordinación entre investigación y políticas

Las puntuaciones de exposición de Eloundou et al. (2023) definen la exposición a la IA como la proporción de tareas ocupacionales que los modelos de lenguaje grandes pueden asistir, convirtiéndose en un insumo central en los debates sobre el futuro del trabajo. Estas medidas estáticas adolecen de limitaciones temporales, geográficas y ontológicas que a menudo no se trasladan con ellas a los análisis de políticas. Los autores identifican dos brechas principales: desajustes estructurales entre las puntuaciones estáticas y las necesidades dinámicas de las políticas, y una coordinación insuficiente entre investigadores y formuladores de políticas. Para abordar las limitaciones de medición, el artículo revisa cinco familias de investigación que incluyen benchmarks dinámicos, métodos de conjunto, extensiones de marcos de tareas, métricas centradas en el trabajador y datos de adopción. La segunda brecha requiere un trabajo político deliberado para reimaginar los resultados futuros en lugar de depender únicamente de una mejor medición. Los formuladores de políticas deben ampliar su base de evidencia, involucrar a los trabajadores como socios y pasar de la predicción a la preparación. Se insta a los investigadores a construir infraestructura de datos, adoptar métodos participativos y escribir teniendo en cuenta a los formuladores de políticas.
arxiv arXiv cs.AI · hace 4 h

Aprendizaje de recompensas del proceso mediante coincidencia de visitas al éxito para RL eficiente

Los autores abordan el desafío de entrenar políticas de aprendizaje por refuerzo con recompensas de resultado inherentemente dispersas, lo que conduce a problemas difíciles de asignación de crédito. Proponen un método para transformar estas recompensas dispersas en recompensas densas del proceso mediante el entrenamiento de un discriminador para distinguir entre episodios exitosos y no exitosos. Este discriminador incentiva a la política a coincidir con las visitas al estado-acción de los episodios exitosos mientras evita las de los no exitosos. Al proporcionar retroalimentación densa sobre el progreso hacia la finalización de la tarea, el enfoque logra esto de manera demostrable sin alterar la política óptima. El método se aplica específicamente al ajuste fino de políticas de control robótico para tareas de manipulación. Los resultados experimentales demuestran un rendimiento significativamente más rápido en el ajuste fino de RL tanto en entornos simulados como del mundo real en comparación con maximizar únicamente las recompensas de resultado dispersas.
arxiv arXiv cs.AI · hace 4 h

TailorMind: Hacia la Generación de Contenido Multimodal Alineada con Preferencias

Los autores presentan TailorMind, un sistema para la generación personalizada de contenido multimodal que produce salidas adaptadas al usuario sin depender de conjuntos de elementos existentes ni esperar a que se genere contenido por parte del usuario. El enfoque vincula el modelado colaborativo de preferencias con la generación multimodal controlable, enriqueciendo los historiales escasos de los usuarios mediante filtrado colaborativo basado en hipergrafos. Además, optimiza los perfiles textuales utilizando retroalimentación de error de clasificación y descenso de gradiente textual para capturar mejor las preferencias del usuario. Para garantizar la calidad, el sistema emplea un control de estilo aumentado por recuperación basado en patrones auténticos y una reflexión de cohesión multimodal para reducir la deriva semántica. Los investigadores también presentan TailorBench, un conjunto de evaluación evaluado en cinco dimensiones que incluyen coherencia, novedad, calidad estética, alucinación y perfilado. Los experimentos demuestran que TailorMind logra una coherencia competitiva o superior en comparación con los modelos base, mientras mejora la novedad y la calidad estética sobre modelos de generación representativos y datos de referencia. Además, el sistema muestra ventajas sobre la recuperación de contenido disponible y alcanza ganancias de hasta un 29% en Recall en tareas de reordenamiento.