arxiv arXiv cs.CL · hace 1 h En vivo

Traducción automática neuronal para Tangkhul-Inglés de recursos limitados

Este estudio aborda la traducción automática de recursos limitados para el par de idiomas Tangkhul-Inglés, centrándose en una lengua tibeto-birmana severamente subrepresentada con infraestructura mínima previa de PLN. Los autores presentan dos sistemas: un modelo principal basado en ByT5-large y un sistema contrastivo que utiliza mT5-small, ambos ajustados finamente sobre 38,336 pares de oraciones paralelas. La evaluación en un conjunto de prueba retenido de 3,856 oraciones muestra que el sistema ByT5-large logra una puntuación BLEU de corpus de 39.97 y una puntuación chrF++ de 58.07. Las métricas adicionales incluyen una F1 de BERTScore de 0.8104 y una puntuación COMET de 0.7302 utilizando el modelo wmt22-comet-da. La investigación destaca los desafíos ortográficos relacionados con los diacríticos del alfabeto latino de Tangkhul como un obstáculo técnico específico. Además, el corpus de entrenamiento presenta sesgo de dominio, compuesto principalmente por textos bíblicos, historias y datos conversacionales. El trabajo futuro tiene como objetivo mejorar el rendimiento mediante la diversificación de datos y estrategias de adaptación de dominio.

arxiv arXiv cs.CL · hace 1 h En vivo

Sarashina2.2-TTS: Abordando la polifonía de kanji en la generación de voz japonesa mediante escalado de datos y síntesis dirigida

Sarashina2.2-TTS es un sistema de texto a voz basado en LLM centrado en japonés, diseñado para abordar el desafío lingüístico de la polifonía de kanji dependiente del contexto. El modelo escala los datos de entrenamiento a aproximadamente 361k horas, utilizando una mezcla equilibrada de corpus de voz japonesa e inglesa. Para manejar específicamente la desambiguación de lectura, los autores implementaron un pipeline de aumento de datos dirigido que cubre los 2,136 kanji de uso regular Joyo. Junto con el lanzamiento del modelo, el artículo presenta el Benchmark Joyo Kanji Yomi, que incluye 4,378 lecturas distintas para estos caracteres. Los autores también proponen Kana-CER, una métrica que evalúa la corrección de la pronunciación comparando la voz sintetizada con las lecturas de referencia en el espacio kana. Los resultados experimentales muestran que este aumento de datos dirigido mejora significativamente la precisión de lectura y alcanza un rendimiento de nivel kanji de vanguardia. El sistema iguala a las principales líneas base en la pronunciación a nivel de oración general, mientras ofrece la mayor similitud del hablante en escenarios de síntesis zero-shot. Además, las evaluaciones multilingües confirman que el enfoque de entrenamiento equilibrado garantiza una pronunciación japonesa estable independientemente del idioma del prompt utilizado.

arxiv arXiv cs.CL · hace 1 h En vivo

Estilometría computacional de traducciones al inglés del Canon Pali a través de los Pitakas

Este estudio presenta un análisis estilométrico computacional del Tipitaka en los tres Pitakas en traducción inglesa, extendiendo el trabajo previo sobre el Sutta Pitaka. El corpus comprende 134.831 segmentos de la Sutta Pitaka de Bhikkhu Sujato, la Vinaya Pitaka de Bhikkhu Brahmali, la traducción al vinaya de I.B. Horner de 1938, tres traducciones al inglés del Abhidhammattha Sangaha y textos de Vinaya trans-tradicionales. Los autores calculan distribuciones de frecuencia-rango de Zipf, diversidad léxica MATTR-500, densidad número-palabra y métricas de superposición de vocabulario. Los hallazgos principales indican que todos los corpus muestran distribuciones consistentes con Zipf con valores de R-cuadrado superiores a 0.989. La Sutta y la Vinaya Theravada exhiben puntuaciones de diversidad léxica casi idénticas de 0.399 y 0.400, mientras que el corpus Sangaha es más diverso con 0.560. El corpus Sangaha también muestra la mayor densidad número-palabra en 3.26%, reflejando su enumeración sistemática de categorías. Además, la Vinaya Mulasarvastivada comparte una superposición significativa de vocabulario con la Vinaya Theravada, mientras que dos traducciones al inglés de la misma fuente comparten solo el 24.2% de su vocabulario.

arxiv arXiv cs.CL · hace 1 h En vivo

Operadores de historia: Descomponer la transformación de original a secuela en el espacio de incrustaciones

Este estudio modela las transformaciones literarias como operaciones geométricas dentro de un espacio de incrustaciones de oraciones utilizando vectores all-mpnet-base-v2 del corpus PG19. Al calcular vectores de desplazamiento entre novelas originales y sus secuelas, el autor descompone estos cambios a lo largo de una base de contenido derivada mediante PCA. El análisis de trece pares de autores verificados revela una taxonomía de tipos de secuela: formulaica, concentrada y composicional. Las transformaciones formulaicas implican cambios mínimos en el rango, como las colecciones de Holmes de Doyle con una norma de 0.12. Los desplazamientos concentrados están dominados por un solo eje, ejemplificado por la transición de Alcott de Little Women a Little Men donde el 75% del cambio ocurre en un solo movimiento. Las transformaciones composicionales implican muchos ejes pequeños, observadas en obras de Twain, Burroughs y Nesbit. Para Tom Sawyer a Huckleberry Finn, el eje dominante es estructural, reflejando un cambio desde la domesticidad hacia la aventura picaresca más que temas superficiales como la voz vernácula. Los hallazgos geométricos se corroboran contra la intención autorial documentada de Mark Twain en cartas a Howells.

arxiv arXiv cs.CL · hace 1 h En vivo

SFL-MTSC: Aprovechando la autoconsistencia multi-tarea a nivel de fotogramas semánticos para una comprensión robusta del lenguaje hablado con múltiples intenciones

La comprensión del lenguaje hablado basada en prompts con modelos de lenguaje grandes a menudo sufre de estructuras inconsistentes de intención-slot debido a la estocasticidad del descodificado, particularmente en escenarios de múltiples intenciones. Para abordar esto, los investigadores proponen la autoconsistencia multi-tarea a nivel de fotogramas semánticos (SFL-MTSC), un nuevo marco de agregación estructurada que opera a nivel de fotograma semántico. En lugar de depender del voto mayoritario a nivel de salida, SFL-MTSC descompone las predicciones en fotogramas específicos de intención y aplica agrupación por dominio-intención junto con clustering a nivel de slot. El marco evalúa la fiabilidad del cluster utilizando puntuación de soporte de ruta para determinar qué fotogramas son confiables. Los fotogramas confiables se retienen y reintegran para formar la predicción final, asegurando una mayor consistencia estructural. Experimentos zero-shot en el conjunto de datos MAC-SLU demuestran mejoras en las puntuaciones F1 de slot y precisión general en comparación con la inferencia de un solo camino. La precisión de intención permanece mayormente estable en la mayoría de los ajustes mientras se logran estas ganancias en el rendimiento a nivel de slot.

arxiv arXiv cs.CL · hace 2 h

Encuesta de estrategias de detección y mitigación de toxicidad para modelos de lenguaje multilingües

Esta encuesta sintetiza investigaciones sobre estrategias de detección de toxicidad y desintoxicación diseñadas específicamente para modelos de lenguaje grandes multilingües. Cataloga modelos de amenaza que explotan variaciones lingüísticas como el cambio de código, diferencias ortográficas y pivotes de traducción para evadir las alineaciones de seguridad. Los autores organizan el trabajo existente en formulaciones de tareas como la reescritura tóxico-a-neutral y la clasificación, junto con varios enfoques de detección que incluyen codificadores multilingües y detectores basados en LLM. Las estrategias de mitigación se detallan a través del filtrado de datos, ajuste supervisado, dirección durante la decodificación y la implementación de barreras de seguridad multilingües. El análisis destaca desafíos persistentes en el campo, notablemente la cobertura desigual de idiomas y los protocolos de evaluación fragmentados. Además, aborda la complejidad de las definiciones culturalmente contingentes de daño y el riesgo de que los esfuerzos de desintoxicación puedan suprimir expresiones dialectales o relacionadas con la identidad legítimas.

arxiv arXiv cs.CL · hace 2 h

Presentación de los corpus Hlava Cor y Hlava AD: Variación humana en la coreferencia y las relaciones discursivas

Los investigadores han creado dos nuevos corpus, Hlava Cor y Hlava AD, para explorar la variación humana en la comprensión de la coherencia textual. Estos recursos contienen múltiples anotaciones de textos checos junto con las explicaciones de los anotadores sobre sus elecciones. El primer corpus, Hlava Cor, consta de 1,024 contextos anotados por tres personas para capturar las diferencias en la identificación de la coreferencia. Cubre pronombres, sintagmas nominales completos y adverbios anafóricos a través de varios tipos de texto y categorías gramaticales-semánticas. El segundo corpus, Hlava AD, comprende 512 contextos anotados por cinco anotadores centrados en las relaciones discursivas en construcciones atributivas y no atributivas. Ambos corpus logran un acuerdo interanotador de aproximadamente el 60-65 por ciento. El análisis revela que un menor acuerdo en la coreferencia se correlaciona con el desacuerdo de los modelos automáticos, lo que indica mayor ambigüedad. Los comentarios de los anotadores destacan además los distintos niveles de confianza y las estrategias individuales de lectura.

arxiv arXiv cs.CL · hace 2 h

La modelización del mundo autorizada por agentes alinea el entrenamiento con las necesidades de decisión

El artículo introduce la Modelización del Mundo Autorizada por Agentes (AAWM), un procedimiento de entrenamiento que aborda las limitaciones de los objetivos estándar de modelización del mundo vinculados a la predicción de la siguiente observación. Este enfoque tradicional a menudo omite dinámicas relevantes para la decisión actual de un agente porque la supervisión depende de lo que revela una transición en lugar de lo que se necesita. AAWM construye la supervisión directamente a partir de las necesidades de decisión de la política, haciendo que el agente identifique la comprensión ambiental necesaria en cada estado. La evidencia de transiciones relevantes se recupera a través de trayectorias y se sintetiza en objetivos de entrenamiento que capturan estas dinámicas orientadas a la decisión. Este método alinea el objetivo de aprendizaje con la información específica requerida antes de actuar, en lugar de forzar al modelo a reconstruir la siguiente observación. Los resultados experimentales validan la efectividad de AAWM en múltiples entornos y configuraciones de entrenamiento. Los hallazgos demuestran que los objetivos de modelización del mundo conscientes de la decisión proporcionan una señal de aprendizaje más efectiva que la predicción convencional de la siguiente observación.

arxiv arXiv cs.CL · hace 2 h

OscillaTTS: Sesgo inductivo oscilatorio adaptativo para modelar dinámicas prosódicas agudas en TTS basado en difusión

Los modelos de texto a voz (TTS) basados en difusión han mejorado la calidad del habla, pero tienen dificultades con transiciones prosódicas agudas y variaciones rápidas del tono. Los decodificadores existentes suelen utilizar no linealidades periódicas como la función de activación Snake, que carecen de adaptabilidad para cambios abruptos de amplitud y frecuencia. Para abordar esto, los autores presentan OscillaTTS, un sistema que cuenta con una no linealidad oscilatoria adaptativa. Este componente permite una modulación periódica controlada mientras garantiza la estabilidad de la señal mediante un mecanismo de derivación lineal. El estudio investiga el papel del sesgo inductivo oscilatorio dentro de los decodificadores de TTS basados en difusión. Los experimentos realizados en los conjuntos de datos LJSpeech y Emotional Speech Dataset demuestran mejoras consistentes tanto en evaluaciones objetivas como subjetivas. Estos resultados indican que OscillaTTS modela eficazmente las dinámicas prosódicas expresivas en comparación con métodos anteriores.

arxiv arXiv cs.CL · hace 2 h

Evaluación de la robustez ante dialectos japoneses en modelos de lenguaje grandes basados en habla y texto

Este estudio investiga la robustez dialectal de los modelos de lenguaje grandes (LLMs) y los modelos de lenguaje basados en habla (SLMs) utilizando los dialectos japoneses como caso de prueba. Aunque los sistemas de diálogo basados en LLMs han avanzado, la variación dialectal sigue siendo un desafío significativo, particularmente para el procesamiento de entradas habladas. La investigación define la robustez como la relación entre el rendimiento en entradas dialectales versus las estándar, lo que permite comparaciones justas entre diferentes tipos de modelos. Los experimentos revelan que la robustez de los SLMs se correlaciona directamente con la robustez de sus contrapartes LLMs basadas en texto. Además, el estudio encuentra que el entrenamiento con datos dialectales y el ajuste fino del codificador de habla sirven para mejorar la robustez en los SLMs. Estos hallazgos aclaran cómo las capacidades base de los LLMs afectan el rendimiento de los SLMs e identifican estrategias efectivas para mejorar la comprensión dialectal.

arxiv arXiv cs.CL · hace 2 h

PolicyAlign: Alineación de seguridad basada directamente en políticas para modelos de lenguaje grandes

Los autores presentan PolicyAlign, un marco diseñado para alinear modelos de lenguaje grandes directamente con políticas de seguridad en lenguaje natural, en lugar de depender de costosos datos de supervisión. Este enfoque aborda la discrepancia entre los requisitos de seguridad en rápida evolución y los métodos convencionales de alineación basados en datos. El proceso comienza sintetizando instrucciones que violan la política especificada, seguido de auto-distilación on-policy para internalizar el comportamiento deseado. Para mejorar la estabilidad del entrenamiento y la eficiencia de los datos, el método incorpora Filtrado Sensible a la Política, que selecciona las instrucciones que inducen el mayor cambio conductual. Los experimentos en múltiples modelos demuestran que PolicyAlign mejora consistentemente las métricas de seguridad mientras mantiene bajas tasas de rechazo excesivo y preserva las capacidades generales. El marco también se generaliza eficazmente a dominios especializados como escenarios de seguridad médica, legal y financiera. El código para este enfoque escalable de alineación se ha publicado en https://github.com/Qwen-Applications/PolicyAlign.

arxiv arXiv cs.CL · hace 2 h

El preentrenamiento de codificadores de habla mejorados con traducción mejora los LLMs de habla

Conectar un codificador de habla preentrenado a un Modelo de Lenguaje Grande crea una desalineación estructural porque los codificadores a menudo producen representaciones específicas del idioma mientras que los LLMs operan en un espacio unificado e independiente del idioma. Los autores argumentan que incorporar objetivos de traducción de habla al proceso de preentrenamiento proporciona un mecanismo fundamentado para cerrar esta brecha. A diferencia de la transcripción monolingüe, la traducción obliga al modelo a aprender representaciones independientes de idiomas específicos. El estudio evalúa experimentalmente el impacto de añadir estos objetivos de traducción durante el preentrenamiento del codificador de habla. Los resultados demuestran que este enfoque mejora significativamente la integración multimodal entre las modalidades de habla y texto. En consecuencia, los modelos que utilizan preentrenamiento mejorado con traducción logran un rendimiento superior en varias tareas posteriores de LLMs de habla.

arxiv arXiv cs.CL · hace 2 h

Diseño de arneses y post-entrenamiento en agentes LLM

El artículo examina cómo el diseño del arnés de herramientas impacta el post-entrenamiento de agentes de modelos de lenguaje grandes. Argumenta que, aunque los agentes se someten rutinariamente a post-entrenamiento, la estructura que determina la exposición a las herramientas suele tratarse como un detalle fijo. Los algoritmos existentes asumen típicamente entornos estáticos, ignorando los cambios en las herramientas y tareas durante el despliegue. Para abordar esta brecha, los autores extendieron ALFWorld para tratar el diseño del arnés como una dimensión controlable. Esta extensión permite la evaluación bajo cambios tanto en la tarea como en el entorno de herramientas. El estudio analiza sistemáticamente la influencia del arnés en el post-entrenamiento en configuraciones dentro y fuera de la distribución. Los resultados muestran que el post-entrenamiento consciente del arnés mejora el rendimiento y permite una adaptación robusta a nuevos entornos. Por el contrario, un esfuerzo mínimo de diseño conduce a caídas drásticas del rendimiento bajo cambios ambientales fuertes.

arxiv arXiv cs.CL · hace 2 h

La evaluación Reclaim muestra que la memoria con pérdida es peor que no tener memoria

Un estudio demuestra que la memoria de un modelo de lenguaje que contiene conclusiones incorrectas es más perjudicial que no tener memoria en absoluto. Cuando los modelos retienen valores obsoletos mientras descartan trabajo de apoyo, emiten respuestas confiantes pero erróneas, mientras que las memorias vacías permiten la abstención. Este fenómeno, denominado memoria frágil, se observó en siete modelos donde la dirección del fallo nunca se invirtió independientemente de la tarea o disposición. Los investigadores introdujeron la evaluación reclaim para medir la corregibilidad comprimiendo interacciones y probando si las correcciones recuperan la verdad fundamental sin usar un juez. Los resultados indican que la corregibilidad depende de si la información fuente sobrevive a la compresión en lugar de la capacidad del modelo. Una política centrada en la fuente, que mantiene fuentes recomputables y descarta conclusiones re-derivables, restauró la corregibilidad significativamente mejor que los controles con longitud coincidente. En bucles de memoria encadenados, los errores de fuente descartada corrompen irreparablemente los pasos posteriores, mientras que la corrección propuesta mantiene horizontes de rendimiento acotados. Los hallazgos se replican en tres sistemas desplegados y datos de diálogo reales, con un oráculo construido a mano alcanzando una precisión perfecta.

arxiv arXiv cs.CL · hace 2 h

El Espectro de Generalización: Un Enfoque Cromatográfico para Evaluar Algoritmos de Aprendizaje

Las evaluaciones tradicionales reducen el aprendizaje a una única puntuación agregada, oscureciendo qué tan bien el conocimiento de un ejemplo se generaliza a otros. Los autores introducen el Espectro de Generalización, un marco de evaluación que mide la generalización por muestra mediante el seguimiento del rendimiento en variantes de prueba con distancia de transferencia creciente. Estas variantes van desde la recuperación exacta hasta la transferencia de implementación entre idiomas y la transferencia de contexto bajo reencuadre narrativo. El marco se instancia en programación competitiva utilizando un pipeline de selección y síntesis sembrado con problemas recientes para mitigar la contaminación. Las comparaciones de paradigmas de aprendizaje canónicos muestran que el Aprendizaje por Refuerzo convierte la memorización en near-transfer más eficientemente que las líneas base de Ajuste Fino Supervisado. El aprendizaje in-context exhibe capacidades de transferencia fuertes pero dependientes de la correspondencia en este contexto. Los perfiles diagnósticos revelan que las ganancias locales no necesariamente expanden el radio de generalización para todos los métodos. Específicamente, las abstracciones y pistas principalmente elevan la transferencia local, mientras que el SFT de Referencia preserva una cola de far-transfer más fuerte que RFT. Además, la auto-distilación o el RL asistido por pistas puede reducir la far-transfer incluso cuando mejora la transferencia local.

arxiv arXiv cs.CL · hace 2 h

Explorando representaciones de habla auto-supervisadas en subdialectos del mandarín mediante análisis articulatorio no supervisado

Este estudio investiga cómo se comportan las representaciones fonéticas internas en modelos de habla auto-supervisados bajo variación dialectal fina, abordando las limitaciones de los estudios de sondeo existentes que dependen de corpus curados. Los autores presentan un estudio de caso utilizando una tubería de sondeo completamente no etiquetada para subdialectos del mandarín. Las secuencias de fonemas se generan mediante un reconocedor universal de fonemas independiente del idioma y se mapean a vectores de características articulatorias, permitiendo el sondeo a nivel de fotograma sin anotación manual. Los resultados revelan patrones estructurados en la decodificabilidad de las características articulatorias a través de diferentes dialectos del mandarín. Las características acústicamente salientes como la labialidad y la estridencia permanecen comparativamente estables, mientras que aquellas asociadas con distinciones espectrales más finas muestran una mayor variación dependiente del dialecto. Esta variación está impulsada principalmente por una decodificabilidad elevada para el habla de Pekín en comparación con otros subdialectos. Los análisis capa por capa demuestran dinámicas representacionales distintas para estos grupos de características, lo que sugiere una sensibilidad dialectal desigual a través de las dimensiones articulatorias.

arxiv arXiv cs.CL · hace 2 h

Alineación forzada neuronal completamente diferenciable mediante programación dinámica suave

Los autores proponen una arquitectura neuronal end-to-end y completamente diferenciable diseñada específicamente para la alineación de fonemas, con el fin de abordar la estancación en este campo en comparación con los avances en ASR. El modelo cuenta con un codificador con dos ramas complementarias dedicadas a la verificación de identidad del fonema y la detección de límites. Un decodificador implementado como un módulo entrenable basado en programación dinámica suave diferenciable produce las decisiones finales de alineación. Todo el sistema se optimiza utilizando una pérdida contrastiva novedosa que fomenta una separación clara entre las regiones de fonemas de estado estable y los límites de transición. Los resultados experimentales muestran que el enfoque supera a los métodos actuales de vanguardia en conjuntos de datos de referencia anotados manualmente en inglés. Además, el modelo demuestra fuertes capacidades de generalización a nivel de palabra y un rendimiento efectivo en idiomas no vistos.

arxiv arXiv cs.CL · hace 2 h

PEGASUS Ajustado Alcanza Rendimiento de Última Generación en el Corpus XL-Sum Inglés

Este artículo presenta un método para optimizar la resúmen abstractivo ajustando el modelo PEGASUS en el corpus XL-Sum inglés. El objetivo es superar el rendimiento del modelo base mT5 al generar resúmenes concisos que capturen ideas salientes sin limitarse a extraer oraciones. Los resúmenes generados se evalúan utilizando la métrica ROUGE, que compara las salidas auto-generadas contra referencias creadas por humanos. El estudio afirma que el modelo PEGASUS ajustado alcanza resultados de última generación en este conjunto de datos específico. El análisis cuantitativo revela una mejora del 4.04% en la puntuación ROUGE-1 en comparación con la línea base. Además, el modelo demuestra un aumento significativo del 15.25% en la puntuación ROUGE-2. Finalmente, se reporta una mejora del 3.39% en la puntuación ROUGE-L, confirmando la efectividad del enfoque de ajuste.

arxiv arXiv cs.CL · hace 2 h

El marco de red teaming descubre vulnerabilidades de fidelidad en LLMs mediante una arquitectura multi-rol

Este artículo presenta un marco de red teaming diseñado para descubrir sistemáticamente vulnerabilidades en las salidas de modelos de lenguaje grandes a través de una arquitectura multi-rol. El sistema utiliza modelos objetivo, atacante y jurado para generar prompts adversariales y evaluar rigurosamente la precisión y consistencia de las respuestas. En un estudio de caso sobre evaluación de fidelidad, los prompts adversariales explotadores aumentaron la tasa de éxito del ataque hasta en un 7.9% en tareas de preguntas y respuestas. La investigación demuestra que las decisiones de diseño arquitectónico suelen superar a la escalado de parámetros al determinar la seguridad del modelo e identifica cómo las restricciones estructurales moldean los patrones de vulnerabilidad. El marco muestra adaptabilidad en diversas tareas de evaluación, desde preguntas y respuestas en inglés hasta resúmenes en árabe. Sin embargo, el enfoque enfrenta desafíos para automatizar completamente la generación de prompts adversariales entre diferentes idiomas. Además, los experimentos revelan limitaciones en la detección de formas sutiles de infidelidad que no se manifiestan como contradicciones factuales explícitas.

arxiv arXiv cs.CL · hace 2 h

Calibración y robustez adversaria de la puntuación automática de ASR

Este estudio evalúa la fiabilidad de los jueces automatizados utilizados para medir las tasas de éxito de ataques en jailbreaks de LLM comparándolos con votos mayoritarios humanos. Utilizando 596 completados etiquetados por humanos de HarmBench, los autores encuentran que los clasificadores de seguridad dedicados sobre-marcan con alta recall pero menor precision, mientras que los LLM-as-judges exhiben una recall errática que oscila entre 0.06 y 0.65. Estas discrepancias causan una variabilidad significativa en el ASR reportado dependiendo de qué familia de judge se emplee. La investigación también destaca diferencias marcadas en la robustez, mostrando que los wrappers de framing benigno pueden invertir las decisiones del LLM-judge entre el 57% y el 100% de las veces. En contraste, los clasificadores dedicados resisten tales ataques superficiales pero permanecen vulnerables a ataques GCG white-box, que invirtieron el 70% de los true positives confiantes a pesar de un pequeño presupuesto de optimización. Una auditoría con dos anotadores confirmó que estas inversiones adversarias preservaron el contenido dañino subyacente. En consecuencia, muchas métricas ASR actuales se consideran poco fiables bajo presión deliberada o condiciones promedio. Los autores recomiendan reportar la precision y recall del judge en datos etiquetados por humanos e incluir verificaciones adversarias en investigaciones futuras.