korshunov.ai
Español
Todos los artículos Página 1 / 119
arxiv arXiv cs.AI · hace 4 h

CompressKV: Compresión de caché KV guiada por recuperación semántica para inferencia eficiente en recursos de LLM de contexto largo

Los autores proponen CompressKV, un marco que comprime las cachés de clave-valor en modelos de lenguaje grandes basados en GQA identificando cabezales de recuperación semántica para retener tokens críticos. Este enfoque aborda la degradación del rendimiento causada por los métodos de desalojo heurísticos existentes que ignoran las funcionalidades distintas de los cabezales de atención.
media r/LocalLLaMA · hace 4 h

Componentes propuestos para un kit integral de copia de seguridad de IA local sin conexión

Un usuario de Reddit describe una lista exhaustiva de software y modelos para almacenar sin conexión a internet con el fin de mantener el acceso a las capacidades de IA local en caso de restricciones o prohibiciones generalizadas de internet. El kit propuesto se centra en preservar herramientas esenciales, sistemas operativos y pesos de modelos para garantizar la funcionalidad sin dependencias externas.
arxiv arXiv cs.AI · hace 5 h

El Puente Latente: Un Canal Lento-Rápido Continuo para Agentes de Juego en Tiempo Real

Este artículo presenta un Puente Latente continuo que acopla modelos de visión y lenguaje con razonamiento congelados y reactivos para habilitar agentes de juego en tiempo real con latencia de milisegundos y planificación a largo plazo. Al proyectar los residuos del modelo lento en el espacio de incrustación de entrada del modelo rápido, evita las rondas de texto mientras iguala o supera a los Puentes de Texto tradicionales en rendimiento.
arxiv arXiv cs.AI · hace 5 h

G$^3$VLA: Sesgo inductivo geométrico para Modelos Visión-Lenguaje-Acción

Los autores proponen G$^3$VLA, un módulo geométrico consciente de la cámara que inyecta estructura calibrada en el flujo de tokens visuales de modelos preentrenados de Visión-Lenguaje-Acción sin alterar su espacio de acción u objetivo de imitación. Este enfoque combina incrustaciones de rayos condicionadas intrínsecamente, codificación posicional proyectiva y fusión cruzada bidireccional entre vistas para abordar la discrepancia entre las coordenadas de imagen 2D y la geometría de la cámara del robot.
arxiv arXiv cs.AI · hace 5 h

video-SALMONN-R3: Comprensión eficiente de vídeo mediante aprendizaje por refuerzo

El artículo presenta video-SALMONN-R$^3$, un modelo de lenguaje grande para vídeo de extremo a extremo que permite el re-visualización eficiente de segmentos de vídeo mediante aprendizaje por refuerzo, sin depender de datos de cadena de pensamiento. Este enfoque aborda las limitaciones computacionales y de memoria que típicamente obligan a los modelos a utilizar tasas de fotogramas reducidas y resoluciones espaciales.
arxiv arXiv cs.AI · hace 5 h

Marco de aprendizaje automático adaptativo para la optimización de trayectorias de UAV en O-RAN

Este artículo presenta un marco novedoso para optimizar las trayectorias de vehículos aéreos no tripulados (UAV) en sistemas celulares 6G, integrando aprendizaje continuo mejorado dentro de la arquitectura O-RAN. El sistema utiliza una biblioteca de modelos preentrenados y un mecanismo de selección para minimizar el tiempo de adaptación al operar en entornos dinámicos.
arxiv arXiv cs.AI · hace 5 h

RetiSEM: Generalización de Modelos Causales para Datos Biomédicos Fragmentados

Los autores proponen RetiSEM, un marco de modelado de ecuaciones estructurales con restricciones de dominio diseñado para recuperar grafos causales y realizar análisis de mediación utilizando datos biomédicos fragmentados con recursos multimodales limitados. El método organiza las variables en bloques informados biológicamente y aplica restricciones de aristas prohibidas para descomponer los efectos a nivel de vía.
arxiv arXiv cs.AI · hace 5 h

CrossPool: Servicio eficiente de múltiples LLM para modelos MoE en frío mediante la disgregación de KV-Cache y pesos

CrossPool es un motor de servicio diseñado para modelos Mixture-of-Experts (MoE) en frío que disgrega los pesos FFN y el KV-cache en pools separados de memoria GPU para abordar las ineficiencias de memoria en escenarios de solicitudes dispersas. Al consolidar los pesos estáticos y aprovisionar dinámicamente la demanda activa de KV-cache, el sistema tiene como objetivo mejorar la utilización de la memoria GPU y admitir solicitudes de contexto largo con ráfagas.