Todos los artículos
arxiv arXiv cs.CL · hace 3 h

Estructura antes del colapso: Geometría semántica transitoria en la predicción del siguiente token

Este artículo investiga cómo los modelos de lenguaje aprenden una estructura semántica latente a pesar de ser entrenados con etiquetas one-hot que teóricamente eliminan las estadísticas de contexto compartido. Los autores identifican una tensión entre la teoría del Colapso Neural y la capacidad observada de los modelos para capturar características categóricas como las propiedades de los objetos.

arxiv arXiv cs.CL · hace 3 h

ConvMemory v3 introduce una capa de contexto de validez para la memoria conversacional

ConvMemory v3 añade una capa de contexto de validez para detectar y mostrar evidencia de actualización en las memorias recuperadas mediante verificación de relaciones condicionada al objetivo. Este mecanismo se sitúa después de la ruta de recuperación estándar y utiliza un filtro de doble evidencia para puntuar pares (objetivo, fuente) basándose en proposiciones específicas.

arxiv arXiv cs.CL · hace 3 h

Estudio de reproducibilidad de AlphaEdit: Edición de conocimiento con restricción en el espacio nulo

Este estudio reproduce los resultados de AlphaEdit, un método de proyección con restricción en el espacio nulo para la edición de conocimiento en modelos de lenguaje, y amplía la evaluación a arquitecturas más recientes y horizontes de edición secuencial más largos. Los autores confirman que AlphaEdit funciona según lo reportado dentro de su alcance original, pero identifican limitaciones significativas en cuanto a generalización y escalabilidad.

arxiv arXiv cs.CL · hace 3 h

AIGP: Un marco basado en LLM para la alineación de valores a largo plazo en la fijación de precios de comercio electrónico

Los investigadores proponen AIGP, un marco que utiliza Modelos de Lenguaje Grande para abordar la interpretabilidad y la desalineación de objetivos a largo plazo en la fijación dinámica de precios de comercio electrónico. El sistema emplea ajuste fino supervisado y un Estimador de Valor a Largo Plazo entrenado mediante aprendizaje por refuerzo offline para alinear las decisiones de precios con los objetivos comerciales.

arxiv arXiv cs.CL · hace 3 h

OPID: Destilación de habilidades on-policy para aprendizaje por refuerzo agéntico

Los autores proponen OPID, un marco que extrae supervisión de habilidades directamente de trayectorias on-policy completadas para abordar el problema de recompensa escasa en el aprendizaje por refuerzo basado en resultados. Al representar la retrospectiva de la trayectoria como habilidades jerárquicas, OPID proporciona supervisión token a nivel denso y coincidente con la distribución sin depender de memoria externa.

arxiv arXiv cs.CL · hace 4 h

Estudio computacional de la transmisión léxica a través de las tradiciones devocionales bengalíes

Un estudio computacional de corpus analiza las relaciones del vocabulario en ocho capas de literatura devocional bengalí y sánscrita desde los siglos VIII hasta el XIX, cuantificando la afirmación histórica de que el vocabulario budista Vajrayana fue absorbido por la tradición Shakta Tantra. Mediante la vectorización de n-gramas de caracteres TF-IDF en 75 textos, la investigación proporciona la primera corroboración cuantitativa de esta cadena de transmisión léxica.

arxiv arXiv cs.CL · hace 4 h

Poda en cascada de múltiples granularidades para inferencia de LLM en dispositivos locales en IoT industrial

Este artículo presenta un marco de poda en cascada de múltiples granularidades diseñado para desplegar modelos de lenguaje grandes en dispositivos periféricos del Internet Industrial de las Cosas (IIoT) eliminando capas, cabezales de atención y canales de alimentación hacia adelante en un orden de grueso a fino. El método utiliza una recuperación ligera de bajo rango entre etapas para re-estimar la importancia de los componentes, abordando el colapso de los métodos estructurados de poda existentes a altas tasas de compresión.

arxiv arXiv cs.CL · hace 4 h

Predictividad neuronal heterogénea de modelos de lenguaje durante la comprensión naturalista

Este estudio demuestra que los modelos de lenguaje congelados pueden servir como predictores neuronales efectivos para la actividad cerebral durante la comprensión de habla y texto naturales, al tiempo que distinguen la utilidad predictiva de las afirmaciones sobre la organización neuronal compartida. El análisis de datos MEG y ECoG reveló ganancias de predicción positivas generalizadas en comparación con las líneas base de bajo nivel, aunque las ventajas a nivel de participante fueron localizadas en lugar de uniformes.

arxiv arXiv cs.CL · hace 4 h

GAVEL: Verificación y localización de errores en descripciones fundamentadas

Los modelos de visión e idioma frecuentemente generan salidas alucinadas donde el texto y las imágenes están desalineados, lo que requiere métodos que no solo detecten estos errores sino que también los expliquen y localicen la evidencia visual. Los autores presentan GAVEL, una tarea diseñada para abordar conjuntamente la verificación, la explicación y la localización para pares de imagen-texto, acompañada por un conjunto de datos y benchmark correspondientes.

arxiv arXiv cs.CL · hace 4 h

Jailbreaking para la Jane promedio: Elección de jailbreaks óptimos mediante algoritmos de bandits

Este estudio investiga si actores maliciosos no expertos pueden lograr con éxito el jailbreaking de modelos de lenguaje grandes utilizando algoritmos de bandit para seleccionar ataques óptimos y mejorar las consultas. Los autores proponen una nueva estrategia de ataque basada en el marco de los multi-armed bandit para aprender eficientemente el mejor jailbreak a partir de un gran conjunto de opciones mediante exploración ruidosa.

arxiv arXiv cs.CL · hace 5 h

Inducción de jerarquías centradas en términos a partir de corpus heterogéneos

Los investigadores proponen un marco de trabajo centrado en términos para inducir taxonomías jerárquicas a partir de diversas fuentes de texto, abordando las limitaciones de los métodos existentes que dependen de representaciones a nivel de documento. Este enfoque mapea documentos en un espacio de representación compartido mediante la extracción automática de términos para permitir una alineación robusta entre fuentes y construir jerarquías interpretables.

arxiv arXiv cs.CL · hace 5 h

Auditoría de la inestabilidad conductual sensible al encuadre en LLMs para salud mental

Este estudio investiga cómo las preocupaciones semánticamente similares presentadas a través de diferentes encuadres contextuales elicitan respuestas variables en modelos de lenguaje grandes ajustados por instrucciones, desafiando potencialmente la fiabilidad del sistema. Utilizando prompts controlados emparejados y análisis de sondeo capa por capa, los autores demuestran que el encuadre altera sistemáticamente las tendencias de respuesta interpretativa a través de múltiples arquitecturas de modelos.