korshunov.ai
Español
Todos los artículos Página 1 / 106
arxiv arXiv cs.LG · hace 2 h

CNN eficiente con aprendizaje por transferencia para detección de múltiples cánceres

Un estudio presenta una red neuronal convolucional ligera mejorada con aprendizaje por transferencia para la detección de múltiples cánceres utilizando imágenes biomédicas. La arquitectura busca reducir la complejidad computacional mientras mantiene un alto rendimiento de clasificación para su implementación en entornos con recursos limitados. Los investigadores evaluaron el modelo en tres conjuntos de datos de tumores que comprenden resonancias magnéticas cerebrales y tomografías computarizadas de pulmón y riñón. El sistema logró exactitudes de prueba del 90,85%, 98,64% y 99,92% para cáncer cerebral, pulmonar y renal respectivamente, mediante validación cruzada estratificada de cinco pliegues. Se empleó aprendizaje por transferencia preentrenando en un tipo de cáncer y ajustando finamente en otros, requiriendo solo 20 épocas adicionales para igualar a los modelos entrenados desde cero. El proceso de ajuste fino actualiza la parte de clasificación de la CNN y toma aproximadamente 0,014 segundos por imagen por época en una NVIDIA GeForce GTX 960. Las evaluaciones comparativas demuestran que este modelo supera a arquitecturas de última generación como Xception, VGG16, VGG19, MobileNetV2 y DenseNet121.
arxiv arXiv cs.LG · hace 2 h

P4IR: El aprendizaje por refuerzo mejora los sistemas automatizados de cumplimiento de código

Un nuevo marco llamado P4IR aborda el problema de las reglas alucinadas en sistemas automatizados de cumplimiento de código basados en modelos de lenguaje grandes. Este enfoque de dos etapas primero emplea ajuste fino supervisado para inyectar conocimiento del dominio en el modelo. Luego utiliza Group Relative Policy Optimization para mejorar la precisión de los esqueletos de código de alto nivel generados. El método logró reducciones de hasta 23,8% en la distancia de edición de árboles y 38,6% en la distancia de Levenshtein a nivel de token en comparación con las líneas base de ajuste fino supervisado. El análisis comparativo muestra que P4IR supera a modelos líderes como Claude Opus, GPT-5.2 y Qwen-3-Max en configuraciones zero-shot. Además, la etapa de aprendizaje por refuerzo produjo una reducción estadísticamente significativa en falsos positivos. Esta combinación de técnicas ofrece un camino hacia un cumplimiento de código automatizado más confiable.
arxiv arXiv cs.LG · hace 2 h

Recuperación del subespacio de señal asintótica en modelos de atención softmax

Este estudio investiga los principios teóricos detrás de los mecanismos de atención softmax analizando un modelo estilizado donde un vector de consulta se aprende mediante ascenso de gradiente estocástico. Los autores explotan la simetría del modelo para derivar un objetivo poblacional y caracterizar la ecuación diferencial ordinaria límite que rige la dinámica de aprendizaje. Mediante el empleo de herramientas de aproximación estocástica y teoría de sistemas dinámicos, establecen una conexión rigurosa entre el algoritmo de aprendizaje estocástico y su límite determinista. Bajo supuestos adecuados de escalado en altas dimensiones y condiciones estándar del tamaño de paso, la investigación demuestra que la consulta aprendida converge casi seguramente al subespacio de señal unidimensional. Esta convergencia implica que la consulta recupera asintóticamente la dirección informativa latente hasta una ambigüedad de signo intrínseca. Los hallazgos proporcionan una base teórica para comprender la atención como un procedimiento de extracción de señal en entornos ruidosos de alta dimensión.
arxiv arXiv cs.LG · hace 2 h

QeHDC: Computación hiperdimensional basada en enlace mejorado por cuántica y construcción de SuperClase

Los autores proponen QeHDC, un marco novel que extiende la Computación Hiperdimensional clásica aprovechando propiedades mecánicas cuánticas para mejorar la eficiencia computacional. Este enfoque utiliza un método de entrenamiento de un solo pase que emplea codificación sinusoidal y cuántica para proyectar datos clásicos en estados de amplitud cuántica. Una innovación clave es la introducción de una operación de enlace cuántico basada en estados de referencia, realizada mediante circuitos cuánticos específicos. Además, el marco implementa una estrategia de generación de superclases basada en matrices de densidad utilizando descomposición de autovalores para extraer características críticas del estado cuántico. Estos mecanismos permiten representaciones de clase más precisas y robustas para tareas de clasificación. Las evaluaciones experimentales en conjuntos de datos estándar demuestran un rendimiento superior en comparación con métodos clásicos tradicionales y métodos existentes mejorados por cuántica. Los resultados también destacan la robustez del enfoque ante el ruido y su viabilidad computacional, sugiriendo beneficios prácticos para futuros paradigmas inspirados en la cuántica.
arxiv arXiv cs.LG · hace 2 h

GaRA: Generación de LoRA consciente del grafo para mejorar LLMs en tareas de grafos

Las redes neuronales gráficas a menudo presentan transferibilidad limitada debido a su estrecho acoplamiento con espacios de características específicos del conjunto de datos, mientras que los modelos de lenguaje ofrecen generalización flexible a través de una interfaz unificada. Los métodos existentes para adaptar modelos de lenguaje a tareas de grafos tienen dificultades para codificar información de todo el grafo, lo que puede provocar una pérdida significativa de información y una comprensión subóptima. Para abordar esta limitación, los autores proponen GaRA, un nuevo modelo de generación de LoRA consciente del grafo que implementa un paradigma de inyección de información a nivel de pesos. Este enfoque genera actualizaciones de peso específicas para la tarea condicionadas por las estructuras originales del grafo, permitiendo que interactúen directamente con las representaciones ocultas. El método restringe la norma de estas actualizaciones generadas para inyectar información de todo el grafo mientras evita el sesgo de optimización inherente a la generación estándar de pesos. Los estudios empíricos demuestran que GaRA supera consistentemente a los métodos base en varias tareas de aprendizaje de grafos zero-shot.
arxiv arXiv cs.LG · hace 2 h

Los LLMs Determinan la Estructura Causal Mediante Lógica de Hacer Diferencia

El artículo aborda el enigma de cómo los modelos de lenguaje grandes adquieren estructura causal a pesar de las limitaciones de formalismos estándar como el enfoque intervencionista de Judea Pearl y el marco de Neyman-Rubin. Argumenta que los LLMs utilizan un método inductivo específico conocido como inducción variacional, que se basa en la lógica de hacer diferencia. Durante el entrenamiento, los modelos procesan grandes cantidades de texto de contextos diversos para identificar lo que constituye un factor de diferencia o un factor de indiferencia dentro de las secuencias de palabras. El análisis examina cómo los componentes arquitectónicos, específicamente las incrustaciones de tokens y los mecanismos de autoatención, facilitan este proceso de inducción variacional. Este marco lógico paralela fundamentalmente el método experimental utilizado en la ciencia. En ambos casos, las relaciones causales se derivan variando sistemáticamente circunstancias individuales para observar su influencia en un fenómeno.
arxiv arXiv cs.LG · hace 2 h

Escapando de la Trampa de la Varianza: Dinámica Libre de Jacobiano para Optimización Bínivel de Búsqueda de Raíces

Los autores identifican un defecto crítico denominado la Trampa de la Varianza, que surge cuando los problemas estocásticos de búsqueda de raíces se fuerzan a marcos de minimización mediante residuos al cuadrado. Los algoritmos estándar de minimización bínivel requieren estimar hipergradientes que involucran Jacobianos implícitos que actúan como amplificadores de ruido en entornos estocásticos. Para abordar esto, el paper formaliza la Optimización Bínivel de Búsqueda de Raíces (RF-BO) como una clase de problema distinta para evitar esta patología. Se propone una solución libre de Jacobiano utilizando Aproximación Estocástica de Dos Escalas de Tiempo (TTSA) para actualizar directamente a lo largo del error de raíz. El estudio proporciona las primeras garantías de convergencia no asintóticas para TTSA en este entorno bajo ruido markoviano. Los experimentos muestran una ganancia de precisión top-1 del 2.6% en SimCLR y una convergencia 17 veces más rápida en el control de EDOs no lineales en comparación con las líneas base. Además, el marco logra una estabilidad de entropía significativamente mejorada en el aprendizaje por refuerzo y una mejora de calidad del 11.1% en la modelización generativa.
arxiv arXiv cs.LG · hace 2 h

RQ-TTSA: Optimización bilevel robusta consciente de la distribución con actualizaciones Huber guiadas por cuantiles

Los autores proponen RQ-TTSA, un marco consciente de la distribución diseñado para abordar la inestabilidad en la optimización bilevel causada por ruido estocástico de colas pesadas. A diferencia de las técnicas existentes de reducción de varianza que dependen de comprobaciones miope de magnitud, este método utiliza búferes de gradiente históricos para estimar cuantiles móviles para recorte adaptativo al estilo Huber. Este enfoque preserva la geometría de optimización local mientras acota estrictamente la varianza efectiva bajo supuestos no convexos-estrictamente convexos con ruido de varianza infinita. El análisis teórico deriva una tasa de convergencia de O(T^(-(p-1)/(3p-2))) que recupera la dependencia óptima del parámetro de colas pesadas p. Las evaluaciones empíricas en seis tareas diversas, incluyendo benchmarks de visión y aprendizaje por refuerzo offline, muestran un rendimiento superior consistente frente a las líneas base más avanzadas. RQ-TTSA elimina los picos de divergencia y asegura una convergencia estable con una sobrecarga computacional despreciable de aproximadamente 2.7 por ciento.
arxiv arXiv cs.LG · hace 2 h

Un VCS de Atari diferenciable para IA explicable

Se presenta un emulador completamente diferenciable del VCS Atari 2600, que reproduce los 64 juegos de ALE con precisión bit a bit en la RAM y la salida de pantalla. El sistema permite una IA explicable basada en gradientes al proporcionar una verdad fundamental compleja y totalmente conocida, con implementaciones validadas en Julia y JAX frente a un emulador de referencia y soporte para entrenamiento de alto rendimiento en GPUs.
arxiv arXiv cs.LG · hace 2 h

Deezer implementa un sistema de generación de descripciones para listas de reproducción basado en LLM

Deezer ha implementado un sistema automático de generación de descripciones para listas de reproducción impulsado por modelos de lenguaje grandes para mejorar su función Daily Mix. Esta tecnología genera descripciones en lenguaje natural para listas de reproducción personalizadas, ayudando a los usuarios a comprender el contenido detrás de cada recomendación. El sistema aprovecha los avances recientes en LLM para procesar diversas fuentes de datos mientras mantiene un estricto control sobre la calidad de la salida. Ya está activo para millones de usuarios, mejorando significativamente las métricas generales de interacción. La implementación destaca cómo el encuadre semántico influye en la percepción del usuario en experiencias personalizadas en línea. Esta iniciativa aborda el desafío de escalar la generación de descripciones de listas de reproducción de manera efectiva.
arxiv arXiv cs.LG · hace 2 h

AdaR: Paso de Mensajes Recurrente Adaptativo para Computación en Tiempo de Prueba con Grafos

AdaR permite la computación flexible en tiempo de prueba sobre grafos sin cambios en los parámetros mediante el uso de recurrencia adaptativa. Deriva la dependencia del paso como una condición necesaria y suficiente para la convergencia e incorpora información de paso normalizada y relaciones entre representación y objetivo en las actualizaciones recurrentes, guiadas por señales de supervisión basadas en gradientes. Los resultados empíricos muestran que AdaR supera a las líneas base sólidas tanto en configuraciones de aprendizaje inductivo como transductivo con grafos.
arxiv arXiv cs.LG · hace 2 h

VRA-FedSGD: Aprendizaje Federado con Reducción de Varianza para Ruido de Cola Pesada

Los autores proponen VRA-FedSGD, un algoritmo basado en reducción de varianza diseñado para el aprendizaje federado en entornos con ruido de gradiente y comunicación de cola pesada. Este enfoque aborda desafíos prevalentes en el aprendizaje automático a gran escala en redes inalámbricas e implementaciones del Internet de las Cosas. El método emplea reducción de varianza por momento combinada con mapeo no lineal para mitigar el ruido de gradiente de cola pesada. También utiliza un mecanismo de agregación con reducción de varianza para suprimir el ruido de comunicación de cola pesada. Para funciones objetivo no convexas, VRA-FedSGD alcanza una tasa de convergencia media de O(K^(-(p-1)/(2p-1))), donde p es el índice de cola. En el sentido casi seguro, alcanza una tasa de Õ(K^(-(1-1/(p-ε))) para objetivos fuertemente convexos, con ε siendo una constante arbitrariamente pequeña. Experimentos simulados en regresión logística con datos del mundo real verifican la efectividad del algoritmo.
arxiv arXiv cs.LG · hace 2 h

Los modelos de texto-voz transcriben latentemente el habla en capas intermedias

Los modelos de lenguaje-habla entrelazados pasan por una fase de transcripción implícita donde las palabras habladas se vuelven decodificables como tokens de texto en capas intermedias, a pesar de no tener entrenamiento de reconocimiento de voz. Hasta el 77% de los datos muestran la palabra hablada apareciendo como la principal candidata de predicción de texto, seguida de una transición hacia la predicción de la siguiente palabra basada en texto antes de volver al habla. Este comportamiento está influenciado por el entrenamiento entrelazado y la inicialización del LM de texto, y se correlaciona con el rendimiento del conocimiento hablado.
arxiv arXiv cs.LG · hace 2 h

Las Costuras de Errores en Aplicaciones Integradas con LLM Revelan Lagunas en las Pruebas

Un asistente de búsqueda de alquiler con funciones de LLM y soporte multi-mercado enfrentó defectos persistentes por parte de los usuarios a pesar de 1,553 pruebas automatizadas exitosas. El análisis de 252 commits de corrección de errores mostró que el 44% de las correcciones ocurrieron en cuatro costuras no vistas: tiempo de ejecución del navegador, mercado no predeterminado, flujos de extremo a extremo y nivel de sistema completo. Una corrección sin una guardia de costura causó que un defecto se enviara dos veces, destacando la necesidad de pruebas dirigidas en estos límites.
arxiv arXiv cs.LG · hace 2 h

Pipeline de aprendizaje profundo para el reconocimiento y la traducción al hindi de lenguas señas indias

Un modelo de aprendizaje profundo en dos etapas clasifica clips de vídeo de lengua de signos india en palabras en inglés utilizando un transformador VideoMAE ajustado, alcanzando una precisión del 99% en entrenamiento y del 78% en validación sobre un conjunto de datos de 13 clases. Las etiquetas en inglés predichas se traducen a hindi, telugu y bengalí utilizando el modelo multilingüe NLLB-200 de Meta AI, con una demo de Streamlit que permite la inferencia de vídeos subidos por el usuario y la salida entre idiomas.
arxiv arXiv cs.LG · hace 2 h

El preprocesamiento del lado del prompt mejora la precisión de la IA en el borde

Un marco estructurado de prompts mejora la precisión de los LLM locales en el monitoreo ambiental al transformar datos crudos de sensores en representaciones textuales enriquecidas. Las evaluaciones en conjuntos de datos interiores y exteriores muestran que la precisión del modelo local aumenta de 50.9% a 81.7% en interiores y de 63.7% a 89.3% en exteriores con prompts enriquecidos, mientras mantiene una baja latencia cerca de 0.22 segundos en modo sin cadena de pensamiento.
arxiv arXiv cs.LG · hace 2 h

El Efecto Tijera: Reducir la diversidad perjudica la transferencia de sustitutos robustos

La diversidad de entrada, una práctica común en ataques de transferencia, mejora el éxito en sustitutos estándar pero lo reduce en los robustos. Este efecto dependiente del régimen, llamado Efecto Tijera, está impulsado por la geometría del gradiente, con las operaciones de redimensionamiento degradando la alineación en modelos robustos. Una regla sin entrenamiento (CG-DI) ajusta la diversidad basada en la consistencia local del gradiente para preservar el éxito del ataque a través de tipos de sustitutos.
arxiv arXiv cs.LG · hace 2 h

HERTA: Pruebas automatizadas para vulnerabilidades en marcos de cifrado homomórfico completo

HERTA es la primera herramienta de pruebas automatizadas diseñada para marcos de cifrado homomórfico completo. Utiliza pruebas metamórficas con relaciones novedosas derivadas de la semántica del FHE para detectar errores lógicos arraigados que pueden corromper silenciosamente los cálculos cifrados. La evaluación en tres marcos industriales reveló 21 errores previamente desconocidos, varios de los cuales han sido confirmados y corregidos por desarrolladores, con implicaciones significativas para la seguridad y la integridad del servicio.
arxiv arXiv cs.LG · hace 2 h

Modelos de difusión robustos mediante desruido ponderado inducido por divergencia

Un nuevo método de entrenamiento reemplaza la pérdida MSE en modelos de difusión con una transformación basada en f-divergencia, creando un sustituto robusto que mejora el rendimiento bajo contaminación de datos. El enfoque utiliza construcciones de divergencia local bajo la kernel inversa gaussiana de DDPM, reduciendo el objetivo de entrenamiento a una función unidimensional del error de desruido, con divergencias de influencia acotada suprimiendo errores grandes y mejorando la estabilidad.