arxiv arXiv cs.CL · hace 3 h

Enrutamiento de Rama Local: Escalado Eficiente y Entrenable en Tiempo de Prueba para Modelos de Lenguaje

Los autores presentan el Enrutamiento de Rama Local (LBR), un marco a nivel de token diseñado para mejorar el razonamiento de los modelos de lenguaje mediante escalado eficiente en tiempo de prueba. LBR expande un pequeño árbol de anticipación local y envía todas las ramas muestreadas a través del modelo, utilizando un enrutador ligero para seleccionar el subárbol de profundidad 1 para su compromiso. Este enfoque permite que cada decisión de token utilice evidencia de futuros locales candidatos sin incurrir en los costos computacionales de la búsqueda a nivel de solución completa. El método emplea un proceso de decodificación poda-crecimiento-crecimiento que preserva las identidades discretas de las ramas y define una verosimilitud de trayectoria de árbol tratable. En consecuencia, LBR permite el aprendizaje por refuerzo de extremo a extremo con recompensas verificables, optimizando conjuntamente el modelo base y el enrutador bajo el mismo principio de razón de verosimilitud que el RLVR de tokens discretos. Los resultados experimentales en tareas sintéticas de planificación jerárquica demuestran que los estados ocultos post-candidato proporcionan evidencia útil para el enrutamiento. Además, las pruebas en razonamiento matemático muestran que LBR mejora tanto las métricas Pass@1 como Pass@32 en comparación con el pensamiento en cadena discreto y otras líneas base.

arxiv arXiv cs.CL · hace 3 h

La memoria marca la diferencia: evaluando cómo distintos roles de memoria moldean agentes conversacionales

La investigación previa sobre mecanismos de memoria en sistemas conversacionales basados en RAG se ha centrado principalmente en métodos de almacenamiento y recuperación. Este estudio investiga cómo las memorias con roles funcionales distintos influyen en la calidad de la respuesta en diferentes contextos. Los autores presentan una taxonomía fina de memoria conversacional para clasificar los elementos recuperados en tipos de roles específicos. También diseñan un marco de evaluación centrado en el usuario que simula perspectivas del usuario para abordar limitaciones en las evaluaciones basadas en referencias. Se realizaron experimentos comparativos en conjuntos de datos a largo plazo utilizando modelos de lenguaje grandes de vanguardia para analizar estos efectos. Los resultados indican que aclarar la memoria mejora la precisión factual y la conciencia de restricciones, lo que conduce a respuestas más correctas y personalizadas. Por el contrario, se encontró que la memoria irrelevante reduce la relevancia temática y degrada las capacidades de conciencia de restricciones. Estos hallazgos demuestran cómo se pueden aprovechar distintos tipos de memoria para mejorar la personalización en agentes conversacionales.

arxiv arXiv cs.CL · hace 3 h

Traducción automática neuronal para Tangkhul-Inglés de recursos limitados

Este estudio aborda la traducción automática de recursos limitados para el par de idiomas Tangkhul-Inglés, centrándose en una lengua tibeto-birmana severamente subrepresentada con infraestructura mínima previa de PLN. Los autores presentan dos sistemas: un modelo principal basado en ByT5-large y un sistema contrastivo que utiliza mT5-small, ambos ajustados finamente sobre 38,336 pares de oraciones paralelas. La evaluación en un conjunto de prueba retenido de 3,856 oraciones muestra que el sistema ByT5-large logra una puntuación BLEU de corpus de 39.97 y una puntuación chrF++ de 58.07. Las métricas adicionales incluyen una F1 de BERTScore de 0.8104 y una puntuación COMET de 0.7302 utilizando el modelo wmt22-comet-da. La investigación destaca los desafíos ortográficos relacionados con los diacríticos del alfabeto latino de Tangkhul como un obstáculo técnico específico. Además, el corpus de entrenamiento presenta sesgo de dominio, compuesto principalmente por textos bíblicos, historias y datos conversacionales. El trabajo futuro tiene como objetivo mejorar el rendimiento mediante la diversificación de datos y estrategias de adaptación de dominio.

arxiv arXiv cs.CL · hace 3 h

Sarashina2.2-TTS: Abordando la polifonía de kanji en la generación de voz japonesa mediante escalado de datos y síntesis dirigida

Sarashina2.2-TTS es un sistema de texto a voz basado en LLM centrado en japonés, diseñado para abordar el desafío lingüístico de la polifonía de kanji dependiente del contexto. El modelo escala los datos de entrenamiento a aproximadamente 361k horas, utilizando una mezcla equilibrada de corpus de voz japonesa e inglesa. Para manejar específicamente la desambiguación de lectura, los autores implementaron un pipeline de aumento de datos dirigido que cubre los 2,136 kanji de uso regular Joyo. Junto con el lanzamiento del modelo, el artículo presenta el Benchmark Joyo Kanji Yomi, que incluye 4,378 lecturas distintas para estos caracteres. Los autores también proponen Kana-CER, una métrica que evalúa la corrección de la pronunciación comparando la voz sintetizada con las lecturas de referencia en el espacio kana. Los resultados experimentales muestran que este aumento de datos dirigido mejora significativamente la precisión de lectura y alcanza un rendimiento de nivel kanji de vanguardia. El sistema iguala a las principales líneas base en la pronunciación a nivel de oración general, mientras ofrece la mayor similitud del hablante en escenarios de síntesis zero-shot. Además, las evaluaciones multilingües confirman que el enfoque de entrenamiento equilibrado garantiza una pronunciación japonesa estable independientemente del idioma del prompt utilizado.

arxiv arXiv cs.CL · hace 3 h

Estilometría computacional de traducciones al inglés del Canon Pali a través de los Pitakas

Este estudio presenta un análisis estilométrico computacional del Tipitaka en los tres Pitakas en traducción inglesa, extendiendo el trabajo previo sobre el Sutta Pitaka. El corpus comprende 134.831 segmentos de la Sutta Pitaka de Bhikkhu Sujato, la Vinaya Pitaka de Bhikkhu Brahmali, la traducción al vinaya de I.B. Horner de 1938, tres traducciones al inglés del Abhidhammattha Sangaha y textos de Vinaya trans-tradicionales. Los autores calculan distribuciones de frecuencia-rango de Zipf, diversidad léxica MATTR-500, densidad número-palabra y métricas de superposición de vocabulario. Los hallazgos principales indican que todos los corpus muestran distribuciones consistentes con Zipf con valores de R-cuadrado superiores a 0.989. La Sutta y la Vinaya Theravada exhiben puntuaciones de diversidad léxica casi idénticas de 0.399 y 0.400, mientras que el corpus Sangaha es más diverso con 0.560. El corpus Sangaha también muestra la mayor densidad número-palabra en 3.26%, reflejando su enumeración sistemática de categorías. Además, la Vinaya Mulasarvastivada comparte una superposición significativa de vocabulario con la Vinaya Theravada, mientras que dos traducciones al inglés de la misma fuente comparten solo el 24.2% de su vocabulario.

arxiv arXiv cs.CL · hace 3 h

Operadores de historia: Descomponer la transformación de original a secuela en el espacio de incrustaciones

Este estudio modela las transformaciones literarias como operaciones geométricas dentro de un espacio de incrustaciones de oraciones utilizando vectores all-mpnet-base-v2 del corpus PG19. Al calcular vectores de desplazamiento entre novelas originales y sus secuelas, el autor descompone estos cambios a lo largo de una base de contenido derivada mediante PCA. El análisis de trece pares de autores verificados revela una taxonomía de tipos de secuela: formulaica, concentrada y composicional. Las transformaciones formulaicas implican cambios mínimos en el rango, como las colecciones de Holmes de Doyle con una norma de 0.12. Los desplazamientos concentrados están dominados por un solo eje, ejemplificado por la transición de Alcott de Little Women a Little Men donde el 75% del cambio ocurre en un solo movimiento. Las transformaciones composicionales implican muchos ejes pequeños, observadas en obras de Twain, Burroughs y Nesbit. Para Tom Sawyer a Huckleberry Finn, el eje dominante es estructural, reflejando un cambio desde la domesticidad hacia la aventura picaresca más que temas superficiales como la voz vernácula. Los hallazgos geométricos se corroboran contra la intención autorial documentada de Mark Twain en cartas a Howells.

arxiv arXiv cs.CL · hace 3 h

SFL-MTSC: Aprovechando la autoconsistencia multi-tarea a nivel de fotogramas semánticos para una comprensión robusta del lenguaje hablado con múltiples intenciones

La comprensión del lenguaje hablado basada en prompts con modelos de lenguaje grandes a menudo sufre de estructuras inconsistentes de intención-slot debido a la estocasticidad del descodificado, particularmente en escenarios de múltiples intenciones. Para abordar esto, los investigadores proponen la autoconsistencia multi-tarea a nivel de fotogramas semánticos (SFL-MTSC), un nuevo marco de agregación estructurada que opera a nivel de fotograma semántico. En lugar de depender del voto mayoritario a nivel de salida, SFL-MTSC descompone las predicciones en fotogramas específicos de intención y aplica agrupación por dominio-intención junto con clustering a nivel de slot. El marco evalúa la fiabilidad del cluster utilizando puntuación de soporte de ruta para determinar qué fotogramas son confiables. Los fotogramas confiables se retienen y reintegran para formar la predicción final, asegurando una mayor consistencia estructural. Experimentos zero-shot en el conjunto de datos MAC-SLU demuestran mejoras en las puntuaciones F1 de slot y precisión general en comparación con la inferencia de un solo camino. La precisión de intención permanece mayormente estable en la mayoría de los ajustes mientras se logran estas ganancias en el rendimiento a nivel de slot.

arxiv arXiv cs.CL · hace 4 h

Encuesta de estrategias de detección y mitigación de toxicidad para modelos de lenguaje multilingües

Esta encuesta sintetiza investigaciones sobre estrategias de detección de toxicidad y desintoxicación diseñadas específicamente para modelos de lenguaje grandes multilingües. Cataloga modelos de amenaza que explotan variaciones lingüísticas como el cambio de código, diferencias ortográficas y pivotes de traducción para evadir las alineaciones de seguridad. Los autores organizan el trabajo existente en formulaciones de tareas como la reescritura tóxico-a-neutral y la clasificación, junto con varios enfoques de detección que incluyen codificadores multilingües y detectores basados en LLM. Las estrategias de mitigación se detallan a través del filtrado de datos, ajuste supervisado, dirección durante la decodificación y la implementación de barreras de seguridad multilingües. El análisis destaca desafíos persistentes en el campo, notablemente la cobertura desigual de idiomas y los protocolos de evaluación fragmentados. Además, aborda la complejidad de las definiciones culturalmente contingentes de daño y el riesgo de que los esfuerzos de desintoxicación puedan suprimir expresiones dialectales o relacionadas con la identidad legítimas.

arxiv arXiv cs.CL · hace 4 h

Presentación de los corpus Hlava Cor y Hlava AD: Variación humana en la coreferencia y las relaciones discursivas

Los investigadores han creado dos nuevos corpus, Hlava Cor y Hlava AD, para explorar la variación humana en la comprensión de la coherencia textual. Estos recursos contienen múltiples anotaciones de textos checos junto con las explicaciones de los anotadores sobre sus elecciones. El primer corpus, Hlava Cor, consta de 1,024 contextos anotados por tres personas para capturar las diferencias en la identificación de la coreferencia. Cubre pronombres, sintagmas nominales completos y adverbios anafóricos a través de varios tipos de texto y categorías gramaticales-semánticas. El segundo corpus, Hlava AD, comprende 512 contextos anotados por cinco anotadores centrados en las relaciones discursivas en construcciones atributivas y no atributivas. Ambos corpus logran un acuerdo interanotador de aproximadamente el 60-65 por ciento. El análisis revela que un menor acuerdo en la coreferencia se correlaciona con el desacuerdo de los modelos automáticos, lo que indica mayor ambigüedad. Los comentarios de los anotadores destacan además los distintos niveles de confianza y las estrategias individuales de lectura.

arxiv arXiv cs.CL · hace 4 h

La modelización del mundo autorizada por agentes alinea el entrenamiento con las necesidades de decisión

El artículo introduce la Modelización del Mundo Autorizada por Agentes (AAWM), un procedimiento de entrenamiento que aborda las limitaciones de los objetivos estándar de modelización del mundo vinculados a la predicción de la siguiente observación. Este enfoque tradicional a menudo omite dinámicas relevantes para la decisión actual de un agente porque la supervisión depende de lo que revela una transición en lugar de lo que se necesita. AAWM construye la supervisión directamente a partir de las necesidades de decisión de la política, haciendo que el agente identifique la comprensión ambiental necesaria en cada estado. La evidencia de transiciones relevantes se recupera a través de trayectorias y se sintetiza en objetivos de entrenamiento que capturan estas dinámicas orientadas a la decisión. Este método alinea el objetivo de aprendizaje con la información específica requerida antes de actuar, en lugar de forzar al modelo a reconstruir la siguiente observación. Los resultados experimentales validan la efectividad de AAWM en múltiples entornos y configuraciones de entrenamiento. Los hallazgos demuestran que los objetivos de modelización del mundo conscientes de la decisión proporcionan una señal de aprendizaje más efectiva que la predicción convencional de la siguiente observación.

arxiv arXiv cs.CL · hace 4 h

OscillaTTS: Sesgo inductivo oscilatorio adaptativo para modelar dinámicas prosódicas agudas en TTS basado en difusión

Los modelos de texto a voz (TTS) basados en difusión han mejorado la calidad del habla, pero tienen dificultades con transiciones prosódicas agudas y variaciones rápidas del tono. Los decodificadores existentes suelen utilizar no linealidades periódicas como la función de activación Snake, que carecen de adaptabilidad para cambios abruptos de amplitud y frecuencia. Para abordar esto, los autores presentan OscillaTTS, un sistema que cuenta con una no linealidad oscilatoria adaptativa. Este componente permite una modulación periódica controlada mientras garantiza la estabilidad de la señal mediante un mecanismo de derivación lineal. El estudio investiga el papel del sesgo inductivo oscilatorio dentro de los decodificadores de TTS basados en difusión. Los experimentos realizados en los conjuntos de datos LJSpeech y Emotional Speech Dataset demuestran mejoras consistentes tanto en evaluaciones objetivas como subjetivas. Estos resultados indican que OscillaTTS modela eficazmente las dinámicas prosódicas expresivas en comparación con métodos anteriores.

arxiv arXiv cs.CL · hace 4 h

Evaluación de la robustez ante dialectos japoneses en modelos de lenguaje grandes basados en habla y texto

Este estudio investiga la robustez dialectal de los modelos de lenguaje grandes (LLMs) y los modelos de lenguaje basados en habla (SLMs) utilizando los dialectos japoneses como caso de prueba. Aunque los sistemas de diálogo basados en LLMs han avanzado, la variación dialectal sigue siendo un desafío significativo, particularmente para el procesamiento de entradas habladas. La investigación define la robustez como la relación entre el rendimiento en entradas dialectales versus las estándar, lo que permite comparaciones justas entre diferentes tipos de modelos. Los experimentos revelan que la robustez de los SLMs se correlaciona directamente con la robustez de sus contrapartes LLMs basadas en texto. Además, el estudio encuentra que el entrenamiento con datos dialectales y el ajuste fino del codificador de habla sirven para mejorar la robustez en los SLMs. Estos hallazgos aclaran cómo las capacidades base de los LLMs afectan el rendimiento de los SLMs e identifican estrategias efectivas para mejorar la comprensión dialectal.

arxiv arXiv cs.CL · hace 4 h

PolicyAlign: Alineación de seguridad basada directamente en políticas para modelos de lenguaje grandes

Los autores presentan PolicyAlign, un marco diseñado para alinear modelos de lenguaje grandes directamente con políticas de seguridad en lenguaje natural, en lugar de depender de costosos datos de supervisión. Este enfoque aborda la discrepancia entre los requisitos de seguridad en rápida evolución y los métodos convencionales de alineación basados en datos. El proceso comienza sintetizando instrucciones que violan la política especificada, seguido de auto-distilación on-policy para internalizar el comportamiento deseado. Para mejorar la estabilidad del entrenamiento y la eficiencia de los datos, el método incorpora Filtrado Sensible a la Política, que selecciona las instrucciones que inducen el mayor cambio conductual. Los experimentos en múltiples modelos demuestran que PolicyAlign mejora consistentemente las métricas de seguridad mientras mantiene bajas tasas de rechazo excesivo y preserva las capacidades generales. El marco también se generaliza eficazmente a dominios especializados como escenarios de seguridad médica, legal y financiera. El código para este enfoque escalable de alineación se ha publicado en https://github.com/Qwen-Applications/PolicyAlign.

arxiv arXiv cs.CL · hace 4 h

El preentrenamiento de codificadores de habla mejorados con traducción mejora los LLMs de habla

Conectar un codificador de habla preentrenado a un Modelo de Lenguaje Grande crea una desalineación estructural porque los codificadores a menudo producen representaciones específicas del idioma mientras que los LLMs operan en un espacio unificado e independiente del idioma. Los autores argumentan que incorporar objetivos de traducción de habla al proceso de preentrenamiento proporciona un mecanismo fundamentado para cerrar esta brecha. A diferencia de la transcripción monolingüe, la traducción obliga al modelo a aprender representaciones independientes de idiomas específicos. El estudio evalúa experimentalmente el impacto de añadir estos objetivos de traducción durante el preentrenamiento del codificador de habla. Los resultados demuestran que este enfoque mejora significativamente la integración multimodal entre las modalidades de habla y texto. En consecuencia, los modelos que utilizan preentrenamiento mejorado con traducción logran un rendimiento superior en varias tareas posteriores de LLMs de habla.

arxiv arXiv cs.CL · hace 4 h

Diseño de arneses y post-entrenamiento en agentes LLM

El artículo examina cómo el diseño del arnés de herramientas impacta el post-entrenamiento de agentes de modelos de lenguaje grandes. Argumenta que, aunque los agentes se someten rutinariamente a post-entrenamiento, la estructura que determina la exposición a las herramientas suele tratarse como un detalle fijo. Los algoritmos existentes asumen típicamente entornos estáticos, ignorando los cambios en las herramientas y tareas durante el despliegue. Para abordar esta brecha, los autores extendieron ALFWorld para tratar el diseño del arnés como una dimensión controlable. Esta extensión permite la evaluación bajo cambios tanto en la tarea como en el entorno de herramientas. El estudio analiza sistemáticamente la influencia del arnés en el post-entrenamiento en configuraciones dentro y fuera de la distribución. Los resultados muestran que el post-entrenamiento consciente del arnés mejora el rendimiento y permite una adaptación robusta a nuevos entornos. Por el contrario, un esfuerzo mínimo de diseño conduce a caídas drásticas del rendimiento bajo cambios ambientales fuertes.

arxiv arXiv cs.CL · hace 4 h

La evaluación Reclaim muestra que la memoria con pérdida es peor que no tener memoria

Un estudio demuestra que la memoria de un modelo de lenguaje que contiene conclusiones incorrectas es más perjudicial que no tener memoria en absoluto. Cuando los modelos retienen valores obsoletos mientras descartan trabajo de apoyo, emiten respuestas confiantes pero erróneas, mientras que las memorias vacías permiten la abstención. Este fenómeno, denominado memoria frágil, se observó en siete modelos donde la dirección del fallo nunca se invirtió independientemente de la tarea o disposición. Los investigadores introdujeron la evaluación reclaim para medir la corregibilidad comprimiendo interacciones y probando si las correcciones recuperan la verdad fundamental sin usar un juez. Los resultados indican que la corregibilidad depende de si la información fuente sobrevive a la compresión en lugar de la capacidad del modelo. Una política centrada en la fuente, que mantiene fuentes recomputables y descarta conclusiones re-derivables, restauró la corregibilidad significativamente mejor que los controles con longitud coincidente. En bucles de memoria encadenados, los errores de fuente descartada corrompen irreparablemente los pasos posteriores, mientras que la corrección propuesta mantiene horizontes de rendimiento acotados. Los hallazgos se replican en tres sistemas desplegados y datos de diálogo reales, con un oráculo construido a mano alcanzando una precisión perfecta.

arxiv arXiv cs.CL · hace 4 h

El Espectro de Generalización: Un Enfoque Cromatográfico para Evaluar Algoritmos de Aprendizaje

Las evaluaciones tradicionales reducen el aprendizaje a una única puntuación agregada, oscureciendo qué tan bien el conocimiento de un ejemplo se generaliza a otros. Los autores introducen el Espectro de Generalización, un marco de evaluación que mide la generalización por muestra mediante el seguimiento del rendimiento en variantes de prueba con distancia de transferencia creciente. Estas variantes van desde la recuperación exacta hasta la transferencia de implementación entre idiomas y la transferencia de contexto bajo reencuadre narrativo. El marco se instancia en programación competitiva utilizando un pipeline de selección y síntesis sembrado con problemas recientes para mitigar la contaminación. Las comparaciones de paradigmas de aprendizaje canónicos muestran que el Aprendizaje por Refuerzo convierte la memorización en near-transfer más eficientemente que las líneas base de Ajuste Fino Supervisado. El aprendizaje in-context exhibe capacidades de transferencia fuertes pero dependientes de la correspondencia en este contexto. Los perfiles diagnósticos revelan que las ganancias locales no necesariamente expanden el radio de generalización para todos los métodos. Específicamente, las abstracciones y pistas principalmente elevan la transferencia local, mientras que el SFT de Referencia preserva una cola de far-transfer más fuerte que RFT. Además, la auto-distilación o el RL asistido por pistas puede reducir la far-transfer incluso cuando mejora la transferencia local.

arxiv arXiv cs.CL · hace 4 h

Explorando representaciones de habla auto-supervisadas en subdialectos del mandarín mediante análisis articulatorio no supervisado

Este estudio investiga cómo se comportan las representaciones fonéticas internas en modelos de habla auto-supervisados bajo variación dialectal fina, abordando las limitaciones de los estudios de sondeo existentes que dependen de corpus curados. Los autores presentan un estudio de caso utilizando una tubería de sondeo completamente no etiquetada para subdialectos del mandarín. Las secuencias de fonemas se generan mediante un reconocedor universal de fonemas independiente del idioma y se mapean a vectores de características articulatorias, permitiendo el sondeo a nivel de fotograma sin anotación manual. Los resultados revelan patrones estructurados en la decodificabilidad de las características articulatorias a través de diferentes dialectos del mandarín. Las características acústicamente salientes como la labialidad y la estridencia permanecen comparativamente estables, mientras que aquellas asociadas con distinciones espectrales más finas muestran una mayor variación dependiente del dialecto. Esta variación está impulsada principalmente por una decodificabilidad elevada para el habla de Pekín en comparación con otros subdialectos. Los análisis capa por capa demuestran dinámicas representacionales distintas para estos grupos de características, lo que sugiere una sensibilidad dialectal desigual a través de las dimensiones articulatorias.

arxiv arXiv cs.CL · hace 4 h

Alineación forzada neuronal completamente diferenciable mediante programación dinámica suave

Los autores proponen una arquitectura neuronal end-to-end y completamente diferenciable diseñada específicamente para la alineación de fonemas, con el fin de abordar la estancación en este campo en comparación con los avances en ASR. El modelo cuenta con un codificador con dos ramas complementarias dedicadas a la verificación de identidad del fonema y la detección de límites. Un decodificador implementado como un módulo entrenable basado en programación dinámica suave diferenciable produce las decisiones finales de alineación. Todo el sistema se optimiza utilizando una pérdida contrastiva novedosa que fomenta una separación clara entre las regiones de fonemas de estado estable y los límites de transición. Los resultados experimentales muestran que el enfoque supera a los métodos actuales de vanguardia en conjuntos de datos de referencia anotados manualmente en inglés. Además, el modelo demuestra fuertes capacidades de generalización a nivel de palabra y un rendimiento efectivo en idiomas no vistos.

arxiv arXiv cs.CL · hace 4 h

PEGASUS Ajustado Alcanza Rendimiento de Última Generación en el Corpus XL-Sum Inglés

Este artículo presenta un método para optimizar la resúmen abstractivo ajustando el modelo PEGASUS en el corpus XL-Sum inglés. El objetivo es superar el rendimiento del modelo base mT5 al generar resúmenes concisos que capturen ideas salientes sin limitarse a extraer oraciones. Los resúmenes generados se evalúan utilizando la métrica ROUGE, que compara las salidas auto-generadas contra referencias creadas por humanos. El estudio afirma que el modelo PEGASUS ajustado alcanza resultados de última generación en este conjunto de datos específico. El análisis cuantitativo revela una mejora del 4.04% en la puntuación ROUGE-1 en comparación con la línea base. Además, el modelo demuestra un aumento significativo del 15.25% en la puntuación ROUGE-2. Finalmente, se reporta una mejora del 3.39% en la puntuación ROUGE-L, confirmando la efectividad del enfoque de ajuste.