arxiv arXiv cs.CL · hace 3 h

Autodata: Un científico de datos agente para crear datos sintéticos de alta calidad

Los autores presentan Autodata, un método general que permite a los agentes de IA funcionar como científicos de datos para construir conjuntos de datos de entrenamiento y evaluación de alta calidad. El enfoque implica meta-optimizar estos agentes para que aprendan a generar datos cada vez más robustos mediante un proceso llamado Agentic Self-Instruct. Se realizaron experimentos en tareas de investigación en ciencias de la computación, razonamiento legal y razonamiento de objetos matemáticos. Los resultados demuestran que este método de creación agente produce un rendimiento mejorado en comparación con las técnicas clásicas de creación de conjuntos de datos sintéticos. Además, la meta-optimización del propio agente científico de datos proporciona un aumento de rendimiento aún mayor. Este trabajo ilustra cómo el cómputo de inferencia incrementado puede convertirse en datos de entrenamiento de modelos de mayor calidad. Los autores sugieren que esta dirección tiene el potencial de cambiar fundamentalmente la forma en que se construyen los datos de IA.

arxiv arXiv cs.CL · hace 3 h

Dziri Voicebot: Sistema de voz a voz de extremo a extremo para el dialecto argelino

El artículo presenta Dziri Voicebot, un sistema conversacional de voz a voz de extremo a extremo diseñado para el bajo recurso del dialecto argelino. Este trabajo extiende los esfuerzos previos de modelado de diálogos basados en texto de Bechiri y Lanasri hacia una interacción completa basada en voz. La canalización modular propuesta integra reconocimiento automático de voz, comprensión del lenguaje natural, generación aumentada por recuperación y síntesis de texto a voz. Se construyeron conjuntos de datos dedicados para el dominio de telecomunicaciones con el fin de ajustar modelos preentrenados para cada componente. El sistema ASR utiliza una adaptación basada en Whisper, mientras que el módulo NLU combina incrustaciones de transformadores con un marco de diálogo orientado a tareas. Se entrenó un sistema TTS neural sobre un corpus dialectal recién recopilado para habilitar la generación de respuestas habladas. Los resultados experimentales demuestran un rendimiento sólido en todos los componentes, incluyendo bajas tasas de error de palabras y altas puntuaciones de clasificación de intención.

arxiv arXiv cs.CL · hace 3 h

Tatoxa: Un sistema novel de desintoxicación de texto para el tártaro de bajos recursos

El artículo presenta Tatoxa, un sistema de última generación diseñado para la desintoxicación automatizada de texto en el idioma tártaro de bajos recursos. Este trabajo aborda la falta de atención a la investigación sobre la mitigación del contenido abusivo en idiomas con recursos digitales limitados. Los autores presentan un nuevo conjunto de datos creado específicamente para ajustar y evaluar modelos de desintoxicación en estos entornos restringidos. Los experimentos comparativos demuestran que Tatoxa supera tanto a los grandes modelos de lenguaje de código abierto existentes como a los comerciales propietarios en métricas clave de calidad. Además, el estudio investiga las capacidades de transferencia interlingüística para evaluar la viabilidad de utilizar datos de otros idiomas. Los resultados indican que entrenar con datos nativos de tártaro es significativamente más efectivo que transferir conocimiento desde idiomas culturalmente cercanos como el ruso. Incluso cuando se dispone de un gran corpus en ruso, los enfoques interlingüísticos tienen un rendimiento inferior al de los modelos entrenados exclusivamente con texto nativo de tártaro.

arxiv arXiv cs.CL · hace 3 h

Colapso del RL de Uso de Herramientas en Múltiples Pasos y Correcciones Supervisadas

Los recientes métodos de aprendizaje por refuerzo agéntico para modelos de lenguaje grandes a menudo sufren de inestabilidad o ganancias limitadas en tareas de uso de herramientas. Los experimentos revelan que algunos modelos experimentan un colapso catastrófico, donde el rendimiento cae abruptamente y las estructuras de invocación de herramientas fallan. El análisis muestra que estos fallos provienen de picos de probabilidad inesperados en tokens de control específicos que interrumpen la ejecución estructurada. A pesar de esta interrupción, la capacidad subyacente de uso de herramientas permanece intacta pero está oscurecida por problemas específicos de formato. Para abordar esto, el estudio investiga diversas señales supervisadas, incluyendo supervisión fuera de política y guía basada en pistas bajo varios esquemas de entrenamiento. Los autores encuentran que intercalar el ajuste fino supervisado con el aprendizaje por refuerzo mejora sustancialmente la estabilidad durante el entrenamiento. Sin embargo, este enfoque exhibe un rendimiento degradado cuando se evalúa en datos fuera de distribución para formato y contenido. Los resultados destacan la importancia de comprender los fallos del RL para permitir un entrenamiento robusto para tareas complejas de uso de herramientas en múltiples pasos.

arxiv arXiv cs.CL · hace 3 h

Detectar, Desaprender, Restaurar: Defender Modelos de Resumen de Texto Contra el Envenenamiento de Datos

El estudio aborda la amenaza del envenenamiento de datos durante el entrenamiento en el ajuste fino de modelos de resumen de texto abstractivo. Los adversarios manipulan pequeños conjuntos de datos específicos de la tarea para inducir fallos persistentes en el resumen mientras mantienen las métricas de evaluación estándar. Se propone un marco de defensa post-hoc unificado para detectar y remediar el envenenamiento a lo largo de la cadena de suministro de aprendizaje automático. En configuraciones de caja blanca, la detección se basa en el análisis de funciones de influencia que identifica una influencia de entrenamiento anormalmente alta en pares envenenados. Las defensas de caja negra utilizan auditorías conductuales basadas en una mayor sensibilidad a perturbaciones que preservan la semántica. Los autores introducen ataques novedosos dirigidos a la distorsión factual y al sesgo representacional que evaden las alarmas convencionales. Los experimentos en nueve arquitecturas y seis conjuntos de datos muestran una precisión de detección del 85-92% para las defensas propuestas. El desaprendizaje por ascenso de gradiente restaura hasta el 96% del comportamiento original con menos de una degradación del 0.6% en ROUGE.

arxiv arXiv cs.CL · hace 3 h

Un estudio revela que los lectores prefieren las traducciones literarias humanas sobre las de IA, a pesar de la calidad adecuada de la máquina

Un reciente estudio investiga las preferencias de los lectores respecto a las traducciones de obras literarias realizadas por IA frente a las humanas, señalando que aunque las métricas automáticas suelen favorecer la salida de la máquina, estas no logran capturar los efectos inmersivos y literarios. Los investigadores pidieron a 15 lectores ávidos que compararan traducciones humanas con aquellas generadas por una pipeline de LLM agencial para 15 novelas en francés, polaco y japonés. La evaluación involucró extractos de aproximadamente 8K palabras mediante tanto la lectura inmersiva de textos completos como la lectura detallada de pares de fragmentos alineados. Los resultados mostraron que, aunque los lectores consideraron adecuadas las traducciones automáticas, prefirieron significativamente las versiones humanas por su claridad y facilidad para sumergirse en la lectura. Cabe destacar que los participantes no pudieron distinguir de manera fiable entre ambos tipos de traducción y tendieron a favorecer aquella versión que creían hecha por humanos. Para apoyar futuras investigaciones, los autores publicaron LAIT, un conjunto de datos centrado en el lector que contiene 1K comentarios, 2K juicios y 7.2K anotaciones a nivel de fragmento.

arxiv arXiv cs.CL · hace 3 h

Evaluación de la Robustez del Razonamiento OCR en Modelos Visión-Lenguaje Bajo Perturbaciones Visuales

Los autores presentan OCR-Robust, un benchmark diseñado para evaluar la robustez de los modelos visión-lenguaje durante tareas de razonamiento OCR bajo perturbaciones visuales. El conjunto de datos comprende 812 muestras divididas en dos subconjuntos: OCR1.0, que cubre documentos y escritura a mano, y OCR2.0, centrado en gráficos y tablas. Un estudio piloto identificó cinco tipos de perturbación representativos en tres niveles de severidad para garantizar una evaluación eficiente. El estudio compara 18 modelos, incluyendo sistemas propietarios y VLMs de código abierto, utilizando métricas como Retención de Corrupción Relativa y Retención del Peor Caso. Los resultados indican que una mayor precisión en condiciones limpias no necesariamente se correlaciona con una mayor robustez frente a la degradación visual. Además, el análisis revela que los gráficos y las tablas son sustancialmente más frágiles que las entradas similares a documentos cuando se someten a estas perturbaciones.

arxiv arXiv cs.CL · hace 3 h

Des-aprendizaje natural: Control asimétrico de qué reglas sobreviven al preentrenamiento

Un estudio identifica el 'des-aprendizaje natural', un fenómeno en el que los modelos de lenguaje pequeños pierden reglas gramaticales aprendidas a mitad del preentrenamiento a pesar de que la evidencia permanece en los datos. Los investigadores observaron que un modelo que aprendía concordancia de pronombre-género con Sue colapsó de una precisión de 0.94 a cerca de cero en el paso 3,500 sin ningún pico correspondiente en la curva de pérdida. La supervivencia de estas reglas está determinada por la frecuencia de soporte dentro del flujo de entrenamiento, mientras que la relación datos-parámetro solo modula la profundidad del colapso. Esta dinámica de emergencia-entonces-colapso se replicó en múltiples corpus, presupuestos y semillas, y se confirmó en puntos de control Pythia públicos donde la profundidad del colapso se correlacionó con la escala del modelo. El proceso de olvido actúa como un mecanismo de desplazamiento donde un patrón superficial competidor supera a la regla, haciendo que el margen de log-probabilidad cruce cero dentro de los 100 pasos del fallo conductual. El control sobre este destino es asimétrico; mientras que inyectar contra-evidencia puede destruir reglas mediante una respuesta dosis-monótona, restaurar el soporte incluso a 450 veces el nivel sostenible no logra recuperarlas.

arxiv arXiv cs.CL · hace 3 h

La ceguera del léxico de palabras clave distorsiona la medición de la postura retórica

Un estudio que analiza 85 entrevistas con cuatro intelectuales públicos revela que la puntuación basada en palabras clave puede producir artefactos estadísticos respecto a la postura retórica. El análisis inicial mostró un patrón robusto de co-ocurrencia entre afecto negativo y certeza enfática, con coeficientes de correlación altos que oscilan entre r = 0.72 y 0.93. Sin embargo, reemplazar este método con una clasificación semántica zero-shot basada en LLM sobre el corpus diarizado completo de 32,625 oraciones redujo significativamente estas correlaciones. Por ejemplo, la correlación de Dalio bajó de 0.851 a 0.206, mientras que otros hablantes exhibieron relaciones negativas o nulas entre negatividad y certeza. En contraste, el análisis con LLM reveló un fuerte acoplamiento entre sentimiento negativo y lenguaje hedging (de cautela), alineándose con las expectativas convencionales del discurso pesimista. La discrepancia se debe a tres fallas estructurales en los léxicos de palabras clave: ceguera sintáctica, ceguera a la polisemia y ausencia categórica. Estos defectos pueden invertir el significado semántico, como puntuar 'nunca absolutamente totalmente seguro' como alta certeza. Los autores argumentan que los conteos de palabras clave miden tendencias de co-ocurrencia léxica en lugar de certeza epistémica, constituyendo un error de categoría.

arxiv arXiv cs.CL · hace 3 h

Auditoría de la sensibilidad al orden en modelos de lenguaje grande multimodales

El estudio introduce Facet-Probe, una auditoría de cinco facetas de 18 modelos de lenguaje grande multimodales de vanguardia y con pesos abiertos para evaluar la sensibilidad al orden. Las pruebas estándar a menudo pasan por alto si el desordenamiento de la evidencia cambia las respuestas, una propiedad de confiabilidad destacada por las directrices emergentes de evaluación de IA. Utilizando un modelo bayesiano de respuesta al ítem, los investigadores separaron el ruido de ordenamiento del sesgo por faceta y estimaron los límites estocásticos del decodificador mediante controles con el mismo ordenamiento. La auditoría encontró que ninguno de los 18 modelos es invariante al orden, con tasas de cambio en la media del panel que oscilan entre el 24% y el 50% a través de diferentes facetas. Incluso el modelo de mejor rendimiento cambió su respuesta en el 13.4% de las pruebas, lo que indica que una mayor capacidad no elimina esta vulnerabilidad. Las pruebas de mitigación utilizando cambios de prompt sin entrenamiento resultaron condicionales a la modalidad y fallaron al transferirse entre tareas de razonamiento textual y visual. Estos hallazgos sugieren que las correcciones a nivel de prompt son insuficientes para la robustez general al orden, motivando soluciones arquitectónicas. Los autores proponen la tasa de cambio por cruce de ordenamientos como un eje estándar de reporte para futuras evaluaciones de MLLM.

arxiv arXiv cs.CL · hace 3 h

La IA de voz en tiempo real oye pero no escucha

Un estudio evalúa cuatro sistemas principales de voz en tiempo real para producción: GPT Realtime 2 de OpenAI, Gemini 3.1 Flash Live de Google, y Qwen3.5 Omni Plus y Omni Flash de Alibaba. La investigación se centra en tareas donde tanto las palabras como la entonación vocal transmiten información significativa en tres escenarios consecuentes. Los cuatro sistemas actúan sobre las palabras literales en lugar de la voz, lo que lleva a errores como colgar llamadas con usuarios que lloran e insisten en que no hay problema o aprobar transferencias bancarias realizadas con voces asustadas. Sorprendentemente, esta desconexión a menudo no es un fallo de percepción, ya que tres de los cuatro sistemas pueden identificar confiablemente angustia, miedo o sarcasmo cuando se les pregunta directamente. A pesar de esta conciencia, los modelos ignoran estas señales emocionales durante la toma de decisiones, exhibiendo lo que los autores denominan la 'brecha de inteligencia emocional'. El estudio también señala que los sistemas estiman el acento y la edad basándose en sesgos léxicos en lugar de propiedades acústicas. Inducir a los sistemas a prestar atención explícita a la entrega vocal mejora el rendimiento solo parcialmente e inconsistentemente. Estos hallazgos sugieren que la IA de voz en tiempo real actual se comporta como si el habla se redujera a una transcripción, lo que exige precaución en entornos donde el tono es crítico.

media r/LocalLLaMA · hace 3 h

Pipeline local de NL a SQL usando Qwen3 4B y planificación determinista

Un desarrollador ha implementado un sistema completamente local de generación de filtros a partir de lenguaje natural en hardware sin GPU. La solución utiliza el modelo Qwen3 4B Instruct ejecutándose mediante llama.cpp con inferencia solo en CPU. En lugar de generar SQL directamente, el modelo se centra en la intención semántica y la selección estructurada de filtros. Un planificador de consultas determinista gestiona posteriormente los procesos de generación y optimización de SQL. El pipeline emplea un método de recuperación híbrido BM25 y embeddings usando FAISS para el almacenamiento vectorial. Recupera los cuatro ejemplos coincidentes principales de aproximadamente 800 instancias semánticas incrustadas para inyectarlas en el prompt. Este enfoque permite que el sistema funcione eficazmente dentro de las estrictas limitaciones de RAM reducida y sin acceso a internet.

media r/LocalLLaMA · hace 3 h

Cotización bloqueada de Dell para 6x RTX PRO 6000 Max-Q a $8,960

Un usuario en Reddit compartió una cotización bloqueada de Dell para seis GPUs RTX PRO 6000 Blackwell Max-Q con un precio de $8,959.99 por unidad. Esta oferta es significativamente menor que el precio de lista de $15,999 publicado solo un día antes. La cotización inicial para las seis unidades expira en aproximadamente tres horas desde el momento de la publicación. El autor también tiene una cotización válida separada para dos unidades al mismo precio descontado hasta el 3 de julio. Está buscando ideas de la comunidad sobre cómo proceder con la compra del hardware para un cluster de inferencia GLM 5.2 local. Aunque tiene los fondos para comprar las seis unidades inmediatamente, quiere soluciones creativas para aprovechar el descuento por volumen que expira. El autor aclaró que no está buscando asesoramiento financiero ni solicitudes para comprar las GPUs él mismo.

media r/LocalLLaMA · hace 3 h

Consulta en Reddit sobre ejecutar modelos grandes con 4x-8x RTX 6000 PRO

Un usuario de Reddit busca opiniones de la comunidad sobre el rendimiento de modelos de lenguaje grandes en sistemas equipados con cuatro a ocho GPUs NVIDIA RTX 6000 PRO. La consulta se dirige específicamente a usuarios que tienen entre 384GB y 768GB de VRAM disponibles para ejecutar modelos como GLM 5.2, Kimi 2.7 y DeepSeek V4 Pro. El autor señala que, aunque estos modelos pueden ejecutarse técnicamente con cuantización de 4 bits, es posible que no quepan dentro de las limitaciones de memoria al usar precisión de 8 bits. Hace referencia a un repositorio de benchmarks pero destaca que carece de datos para los lanzamientos más recientes de modelos. Una preocupación clave planteada es si la degradación del rendimiento al usar cuantización de 4 bits frente a 8 bits es lo suficientemente significativa como para afectar tareas agénticas o de programación. El usuario también pregunta qué backends de inferencia, como vLLM o SGLang, están siendo utilizados actualmente por otros en esta configuración de hardware.

arxiv arXiv cs.CL · hace 3 h

Estructuración de un diccionario legible por máquina árabe-inglés usando gramáticas de expresión de análisis

Este artículo presenta un método para estructurar una versión legible por máquina del diccionario árabe-inglés Al-Mawrid, abordando la falta de estandarización en los formatos impresos. El enfoque convierte flujos no estructurados de palabras y puntuación en estructuras jerárquicas explícitas que definen componentes de entrada como subentradas, etiquetas de dominio y equivalencias de traducción. El análisis (parsing) sirve como paso central dentro de un diseño en cascada, implementado utilizando el formalismo de gramáticas de expresión de análisis. Esta técnica permite la organización automática o semiautomática de las entradas del diccionario a pesar de la ausencia de estandarización de la microestructura en los diccionarios árabes. El estudio demuestra que inducir la microestructura permite una precisión plausible al estructurar estos recursos léxicos complejos. Al transformar texto sin formato en formatos definidos, el trabajo respalda aplicaciones posteriores de procesamiento del lenguaje natural que requieren datos léxicos legibles por máquina.

arxiv arXiv cs.CL · hace 3 h

WBCMor VQA: Un punto de referencia bilingüe inglés-urdu para la respuesta a preguntas visuales en hematología

Los investigadores han presentado WBCMor VQA, un punto de referencia bilingüe clínicamente validado para el análisis de leucemia y glóbulos blancos normales en inglés y urdu. Este recurso aborda la brecha en las tecnologías de atención médica multilingües, particularmente en regiones como Pakistán, donde la documentación clínica a menudo no coincide con los idiomas de comunicación de los pacientes. El conjunto de datos comprende 110.000 pares de preguntas y respuestas bilingües anotados en 20.000 imágenes de células individuales de glóbulos blancos leucémicos y normales. Para garantizar la consistencia lingüística y la corrección clínica, el punto de referencia utiliza anotaciones conscientes de la morfología de los conjuntos de datos LeukemiaAttri y WBCAtt junto con un diccionario de hematología en urdu específico del dominio. El estudio también destaca las limitaciones de los recursos existentes de visión e idioma centrados en el inglés en entornos diversos de atención médica. Se establecieron métricas de rendimiento de referencia evaluando múltiples Modelos de Lenguaje Visión de código abierto en este nuevo punto de referencia. Este recurso tiene como objetivo facilitar el desarrollo de sistemas de IA accesibles para contextos médicos multilingües.

arxiv arXiv cs.CL · hace 3 h

Generación automática de resúmenes para artículos académicos mediante aprendizaje basado en prompts

Este estudio investiga el aprendizaje basado en prompts para la generación automática de resúmenes de artículos académicos con el fin de abordar la falta de datos de entrenamiento etiquetados en los métodos supervisados existentes. Los investigadores diseñaron plantillas de prompts específicas para la tarea combinadas con los resúmenes de los artículos como entradas para varios modelos de lenguaje, incluyendo GPT-2 y T5 desplegados localmente, así como ChatGPT accesible a través de API. Los experimentos realizados en tres conjuntos de datos demostraron que ChatGPT con plantillas de prompts logró un rendimiento comparable a métodos supervisados anteriores sin requerir muestras de entrenamiento específicas para la tarea. Cuando se añadieron un pequeño número de ejemplos a los prompts, el modelo superó significativamente a los métodos más avanzados en dos de los conjuntos de datos. El análisis reveló que, aunque ChatGPT posee fuertes capacidades de modelado de lenguaje, su rendimiento es altamente sensible a la información específica proporcionada dentro del prompt. Los estudios de caso indicaron que los resúmenes generados son generalmente coherentes, informativos y se asemejan estrechamente a los escritos por los autores. Este enfoque no depende de corpus de entrenamiento específicos del dominio, apoyando la minería de texto posterior y la investigación bibliométrica para artículos que carecen de resúmenes existentes.

arxiv arXiv cs.CL · hace 3 h

Medir la dificultad de la investigación en PLN: Una relación con forma de U invertida con el impacto académico

Este estudio propone un sistema de evaluación integral para medir la dificultad de la investigación académica, centrado en el Procesamiento del Lenguaje Natural como caso de estudio. Los autores extraen características internas y externas de los artículos, incluyendo colaboración, contenido y referencias, para calcular múltiples indicadores de dificultad. Estos indicadores se ponderan utilizando el método de peso de entropía y se suman para generar una puntuación final de dificultad de la investigación. El impacto académico se cuantifica mediante la frecuencia de citas, mientras que las evaluaciones de expertos validan la fiabilidad del enfoque de medición. Los resultados empíricos indican que el número de páginas, el número de referencias y la participación institucional de alto nivel se correlacionan significativamente con el impacto académico. Crucialmente, el análisis revela una relación con forma de U invertida entre la dificultad de la investigación y el impacto. Esto sugiere que la investigación moderadamente difícil tiende a lograr el mayor nivel de influencia académica.

arxiv arXiv cs.CL · hace 3 h

iLLaDA: Un modelo de lenguaje de difusión enmascarado de 8B con atención totalmente bidireccional

Los autores presentan iLLaDA, un modelo de lenguaje de difusión enmascarado de 8B parámetros entrenado desde cero utilizando atención totalmente bidireccional. Este enfoque contrasta con la factorización autoregresiva predominante y la atención causal utilizadas en los modernos modelos de lenguaje grandes. El pre-entrenamiento del modelo escaló a 12 billones de tokens, seguido de ajuste fino supervisado en un corpus de instrucciones de 25 mil millones de tokens durante 12 épocas. iLLaDA mantiene el objetivo de difusión enmascarada durante ambas fases de entrenamiento y emplea generación de longitud variable para eficiencia. También introduce puntuación basada en confianza para mejorar el rendimiento en tareas de evaluación de opción múltiple. Los resultados de los benchmarks muestran mejoras significativas sobre su predecesor, LLaDA, incluyendo ganancias de 21.6 puntos en BBH y 14.9 puntos en ARC-Challenge para el modelo base. La variante ajustada con instrucciones logró aumentos de 14.5 puntos en MATH y 16.5 puntos en HumanEval. A pesar de su naturaleza no autoregresiva, iLLaDA sigue siendo competitivo con Qwen2.5 7B en varias métricas.

arxiv arXiv cs.CL · hace 3 h

Hybrid-IR: Recuperación híbrida de doble vía con razonamiento iterativo para la respuesta a preguntas médicas complejas

Los modelos de lenguaje grandes enfrentan desafíos con las alucinaciones y el conocimiento desactualizado en aplicaciones biomédicas, lo que ha impulsado el desarrollo de métodos mejorados de generación aumentada por recuperación. Los enfoques existentes a menudo luchan con el conocimiento médico fragmentado debido a la dependencia de rutas de recuperación únicas y estrategias estáticas que dificultan el razonamiento profundo. Para abordar estas limitaciones, los investigadores introdujeron Hybrid-IR, un marco de doble vía que presenta un mecanismo iterativo de recuperación-razonamiento para la respuesta a preguntas médicas complejas. Este sistema integra la recuperación basada en grafos para explorar conocimiento estructurado junto con la recuperación densa para la coincidencia semántica fina. El modelo refina progresivamente su trayectoria de razonamiento a través de un bucle iterativo entre los pasos de recuperación y razonamiento. Los experimentos realizados en tres benchmarks ampliamente utilizados de QA médica demuestran la efectividad de este enfoque propuesto.