arxiv arXiv cs.CL · hace 5 h

Mitigación del sesgo de posición en Transformers mediante escalado de incrustaciones posicionales específicas por capa

Los investigadores introducen el escalado de incrustaciones posicionales específicas por capa (LPES) para abordar el problema del "perdido-en-el-medio" en modelos de lenguaje grandes, donde la información crítica en entradas de contexto largo a menudo está infrarrepresentada. Este método asigna factores de escalado distintos a cada capa de Transformer para lograr una distribución de atención más equilibrada sin requerir ajuste fino de parámetros ni aumentar la latencia de inferencia.

arxiv arXiv cs.CL · hace 5 h

Condicionamiento de personalidad de baja amabilidad para el ajuste fino seguro de LLM

Investigaciones recientes indican que el ajuste fino de modelos de lenguaje grandes para la calidez social degrada la fiabilidad factual y aumenta la sycophancy, debilitando además la seguridad adversarial. Este estudio investiga si este modo de fallo proviene de la adaptación empática o de artefactos en la construcción de datos.

arxiv arXiv cs.CL · hace 5 h

¿Los modelos de énfasis en el habla generalizan entre idiomas y emociones?

El artículo presenta MMEE, un corpus multilingüe y multi-emoción de 10.000 expresiones habladas a través de siete idiomas y 34 categorías emocionales, para evaluar modelos de detección de énfasis en el habla. Evalúa qué tan bien estos modelos generalizan entre diferentes contextos lingüísticos y emocionales en comparación con el entrenamiento tradicional de habla neutra monolingüe.

arxiv arXiv cs.CL · hace 5 h

Mejora de la predicción numérica en LLMs mediante alineación MMD suave

Los investigadores introducen la Discrepancia Media de Kernel Suave (SMMD) para abordar la falta de fiabilidad de los modelos de lenguaje grandes en tareas numéricamente precisas, causada por los objetivos de entrenamiento estándar de entropía cruzada. SMMD incorpora kernels de distancia de valor sobre tokens numéricos y suavidad basada en grafos para alinear las distribuciones predichas con los objetivos, fomentando al mismo tiempo la consistencia local.

arxiv arXiv cs.CL · hace 5 h

KG2Cypher: Pipeline centrado en datos para construir sistemas de texto a Cypher empresariales

Los investigadores presentan KG2Cypher, un pipeline centrado en datos diseñado para construir sistemas empresariales de texto a Cypher a partir de Knowledge Graphs existentes. El sistema genera consultas Cypher ejecutables a partir de hechos del grafo y utiliza modelos de lenguaje grandes para crear preguntas correspondientes en lenguaje natural.

arxiv arXiv cs.CL · hace 5 h

Estrategias de fusión temporal para NER en textos históricos

Este estudio investiga cómo los metadatos temporales pueden incrustarse estructuralmente en modelos de Reconocimiento de Entidades Nombradas (NER) para abordar el desafío del desplazamiento de entidades en textos históricos. Los autores evalúan sistemáticamente estrategias de fusión ligeras, incluyendo atención cruzada, adaptadores y concatenación, dentro de arquitecturas basadas en Transformers.

arxiv arXiv cs.CL · hace 6 h

Costos de Asignación en el Espacio de Salida para la Compresión de LLM Guiada por Calibración: Un Estudio Empírico

Este estudio investiga si alinear los costos de asignación con los objetivos del espacio de salida mejora la fidelidad de los modelos de lenguaje grandes comprimidos, probando específicamente una modificación al método de compresión ROCKET. Los autores comparan el uso del error de Frobenius en el espacio de pesos frente a un objetivo de reconstrucción de salida para la asignación del problema de la mochila multidimensional.

arxiv arXiv cs.CL · hace 6 h

SHIFT: Dirección de Activación Modulada por Puerta para Mitigar Conflictos de Conocimiento

El artículo presenta SHIFT, un marco novel que mitiga conflictos de conocimiento en la Generación Aumentada con Recuperación (RAG) reformulando la modificación a nivel de neurona como modulación de puerta aprendible. Este enfoque permite a los modelos de lenguaje grandes regular adaptativamente las activaciones internas para resolver conflictos entre el contexto recuperado y el conocimiento paramétrico.

arxiv arXiv cs.CL · hace 6 h

Selección de capas de atención completa guiada por NLL para adaptación de ventana deslizante sin entrenamiento

Los investigadores proponen un método sin entrenamiento para seleccionar qué capas en modelos de atención híbrida deben conservar la atención completa, abordando la ineficiencia de los patrones fijos en la inferencia de contexto largo. Al medir la degradación de la verosimilitud logarítmica negativa en los tokens de respuesta, el enfoque identifica las capas críticas para mantener la precisión al cambiar a atención de ventana deslizante.

arxiv arXiv cs.CL · hace 6 h

La corrección del sesgo de posición es insuficiente para el ordenamiento por atención de un solo pase

El estudio investiga si corregir el sesgo de posición permite que el ordenamiento por atención de un solo pase iguale el rendimiento de los métodos iterativos en modelos de lenguaje de contexto largo. Los experimentos en los modelos LLaMA-2 y YaRN-Llama-2 refutan la hipótesis de que la desviación del sesgo por sí sola es suficiente para cerrar la brecha de rendimiento.

arxiv arXiv cs.CL · hace 6 h

Aprendizaje de Modelado de Acciones Complementarias a partir de Instrucciones de Mantenimiento Automotriz

El artículo introduce el Modelado de Acciones Complementarias (CAM), una tarea centrada en identificar o generar contrapartes procedimentales en instrucciones de mantenimiento automotriz modificando únicamente la frase de acción mientras se preserva el contexto restante de la oración.

arxiv arXiv cs.CL · hace 6 h

Lobo de Tres Cabezas: Un Rol de Bufón para la Teoría de la Mente Multi-salto en LLMs

Los investigadores ampliaron el juego del Lobo con un rol de Bufón para crear un entorno de deducción social triádico que requiere razonamiento a través de tres funciones de utilidad opuestas, desafiando las capacidades de teoría de la mente de los modelos de lenguaje grandes. Las evaluaciones en GPT-4.1, DeepSeek-V3.1 y Llama-3.3-70B revelaron que, aunque el Bufón ganó el 60-70% de las partidas, los lobos de GPT-4.1 votaron frecuentemente para expulsar al Bufón en el día 1 en el 60-70% de los casos, una acción autodestructiva impulsada por priores lingüísticos.

arxiv arXiv cs.CL · hace 6 h

Resolución de problemas geométricos verificables: Autoformalización y propuesta de teoremas impulsadas por el solver

Los investigadores proponen SD-GPS, un framework impulsado por el solver para la resolución de problemas geométricos que aborda los cuellos de botella en la autoformalización y la predicción de teoremas tratando al solver simbólico como un oráculo de ejecución. Este enfoque unifica la adaptación supervisada del lenguaje formal con el aprendizaje por refuerzo guiado por la solvabilidad para garantizar la ejecutabilidad durante la formalización.

arxiv arXiv cs.CL · hace 6 h

VASAE: Nombrar direcciones del diccionario SAE con anclaje alineado al vocabulario

Los autores presentan el Autoencoder Disparo Alineado al Vocabulario (VASAE), un método que entrena características de autoencoder disparo utilizando anclaje alineado al vocabulario para asignar a cada característica un nombre de token intrínseco basado en la incrustación más cercana en el vocabulario del Transformer.

arxiv arXiv cs.CL · hace 6 h

Marco persuasivo de IA en dilemas colectivos

Un estudio con 1.283 participantes evaluó si los asistentes de IA podían mejorar la cooperación en Juegos de Riesgo Colectivo iterados mediante un marco persuasivo personalizado basado en perfiles de Orientación del Valor Social. La investigación encontró que, aunque las señales pro-sociales aumentaron significativamente las contribuciones y las tasas de éxito del grupo, estos efectos fueron de corta duración.

arxiv arXiv cs.CL · hace 7 h

Un análisis empírico de errores factuales en textos escritos por humanos y su aplicación

Este estudio aborda la negligencia en la detección de errores factuales en textos escritos por humanos mediante la extracción de una taxonomía de errores a partir de correcciones de artículos periodísticos, revelando categorías como las malconversiones de kanji que están ausentes en los benchmarks actuales de alucinación. Los autores evalúan modelos de lenguaje grandes estándar en casos de prueba sintetizados y correcciones reales para evaluar su rendimiento en esta tarea específica.

arxiv arXiv cs.CL · hace 7 h

Marco Explicable Multi-etapa para la Detección de Trastornos Cognitivos Basada en Voz

Los investigadores proponen un marco de explicabilidad multi-etapa que traduce las predicciones de caja negra del transformer en narrativas fundamentadas clínicamente para la detección de trastornos cognitivos basada en voz. El sistema integra la atribución de tokens basada en SHAP, características lingüísticas y una tubería de razonamiento LLM para mapear las salidas del modelo a dimensiones cognitivo-lingüísticas específicas.

arxiv arXiv cs.CL · hace 7 h

ToxiREX: Un conjunto de datos sobre razonamiento tóxico en contexto

Los investigadores presentan ToxiREX, un nuevo conjunto de datos multilingüe diseñado para capturar y explicar la toxicidad implícita y dependiente del contexto dentro de las hilos de comentarios de Reddit. El conjunto de datos utiliza un esquema sistemático de razonamiento tóxico para proporcionar anotaciones estructuradas para comentarios relacionados con eventos globales importantes en seis idiomas.

arxiv arXiv cs.CL · hace 7 h

De diálogo a detección: una canalización híbrida multimodal de PLN para la detección de fraude en seguros

Este artículo presenta un marco sintético multimodal diseñado para replicar las condiciones del Primer Aviso de Pérdida (FNOL) para la detección de fraude en seguros, abordando las limitaciones de los enfoques existentes basados únicamente en texto. El sistema genera transcripciones de diálogos entre agente y cliente y audios de dos hablantes para integrar indicadores lingüísticos, conductuales y basados en el hablante.

arxiv arXiv cs.CL · hace 7 h

La matriz de cobertura de señales: estratificación de errores de tipo y semánticos en la autoformalización de enunciados

Este artículo introduce una matriz de cobertura de señales para estratificar los errores de tipo y semánticos en la autoformalización de LLM, superando las métricas escalares de corrección de tipo. El marco clasifica las salidas en celdas de éxito verdadero, solo tipo, solo semántico o fallo en ambas categorías cruzando los resultados del elaborador de Lean con juicios de equivalencia semántica.