arxiv arXiv cs.CL · hace 2 h

Entrenamiento de LLMs para agentes de ciclo de vida largo mediante generalización interdominio

Un nuevo marco permite a los modelos de lenguaje grandes aprender 'Conecta los puntos' utilizando aprendizaje por refuerzo con secuencias de rollout largas. El método incluye tareas y entornos adaptados para fomentar el desarrollo de meta-capacidades, mostrando una fuerte generalización interdominio y rendimiento en configuraciones fuera de distribución. Las implementaciones están disponibles en https://github.com/agentscope-ai/Trinity-RFT/tree/research/cod/examples/research_cod.

arxiv arXiv cs.CL · hace 2 h

Selección de herramientas sobreprivilegiadas en agentes LLM

Los agentes LLM suelen seleccionar herramientas con mayores privilegios a pesar de existir alternativas suficientes con menores privilegios. Este comportamiento sobreprivilegiado se ve amplificado por fallos transitorios de las herramientas y no mejora de manera confiable con la alineación general de seguridad. Una nueva defensa post-entrenamiento consciente del privilegio reduce el uso innecesario de herramientas de alto privilegio mientras mantiene las capacidades del agente.

arxiv arXiv cs.CL · hace 2 h

Optimización de Motores Generativos: Midiendo la Visibilidad en Búsquedas de IA

Un estudio a gran escala de más de 100K respuestas de prompts de IA en más de 100 marcas revela una escalera de visibilidad de marca de tres niveles: las marcas globales aparecen en el 73% de las respuestas, las de mercado medio en el 44%, y las marcas de nicho solo en el 11%. Los motores de IA citan principalmente sitios web corporativos, con YouTube liderando las fuentes no corporativas, y los listados de "lo mejor" representando el 21% de las citas. El sentimiento en las menciones de marca es inestable, cambiando seis veces más a menudo que la mera mención.

arxiv arXiv cs.CL · hace 2 h

STAGE: Generación de datos fundamentada en la fuente para texto a JSON

STAGE es una tubería que genera datos de entrenamiento de texto a JSON utilizando LLMs para sintetizar informes y esquemas JSON, validados contra las hojas de cálculo subyacentes. Las evaluaciones en STAGE-Eval muestran que mejora la coincidencia exacta de Qwen3-4B del 31.37% al 74.27% y la precisión de valores del 45.46% al 90.69%.

arxiv arXiv cs.CL · hace 2 h

Análisis de la Información Teórica de la Supervisión Efectiva en el Pensamiento en Cadena Latente

Este trabajo identifica un doble colapso en el razonamiento latente: atenuación del gradiente y deriva representacional. Propone la Supervisión de Trayectoria y Espacio, demostrando que la reconstrucción generativa preserva mejor la capacidad de información que la compresión geométrica. La Sonda Latente Unificada mide la información mutua entre las trayectorias latentes y los pasos de razonamiento, revelando un vínculo entre información y rendimiento en la precisión del razonamiento.

arxiv arXiv cs.CL · hace 2 h

IHUBERT: Modelo preentrenado en persa con deduplicación semántica

IHUBERT es un modelo de lenguaje preentrenado monolingüe en persa, entrenado sobre un subconjunto curado de 45 GB de la colección Sepahr-Danesh. Utiliza deduplicación semántica basada en vectores y una canalización de preentrenamiento equilibrada por dominio para mejorar la calidad del corpus y reducir la redundancia, logrando un rendimiento destacado en respuesta a preguntas extractivas y resultados sólidos en NER y clasificación de temas, aunque la extracción de relaciones sigue siendo un desafío.

arxiv arXiv cs.CL · hace 2 h

Sin preferencia propia en la revisión de modelos bajo autoría genuina

Una prueba con cuatro modelos en IFEval muestra que no hay una preferencia propia detectable en los grandes modelos de lenguaje al revisar su propio texto. Los autores rechazan ediciones verificadas como correctas a tasas comparables a las de modelos nuevos, con una diferencia de -5.1 puntos porcentuales (IC 95% [-12.9, +2.7]). Cuando los autores rechazan correcciones, el 97% de las razones se deben a la detección de defectos, no a preferencia.

arxiv arXiv cs.CL · hace 2 h

HydraHead: Atención híbrida a nivel de cabezal para rendimiento en contexto largo

HydraHead introduce una hibridación a nivel de cabezal de Full Attention y Linear Attention, aprovechando la interpretabilidad para seleccionar los cabezales críticos para recuperación y fusionar las salidas mediante un módulo normalizado por escala. Entrenado con 15B tokens, logra más del 69% de mejora sobre la línea base en una longitud de contexto de 512K, superando a los híbridos a nivel de capa y acercándose al rendimiento de Qwen3.5 en tareas de contexto largo.

arxiv arXiv cs.CL · hace 2 h

Estabilización de la intención de herramientas en RAG en streaming

Un estudio mide la estabilización de la intención de herramientas en RAG en streaming, definiendo cuándo las consultas de herramientas especulativas convergen a respuestas correctas. En el benchmark CRAG, el 73.9% de las consultas permiten ocultar latencia sustancial, con estabilización temprana observada en preguntas con evidencia recuperable literalmente. El tipo de pregunta predice significativamente la estabilización temprana frente a la tardía, informando cuándo los disparadores especulativos son efectivos.

arxiv arXiv cs.CL · hace 2 h

PASQA: Modelo de Calidad de Voz Enfocado en el Acento Tonal

PASQA es un modelo de evaluación de calidad de voz diseñado para evaluar la corrección del acento tonal en el habla japonesa sintética. Utiliza un conjunto de datos con errores de acento controlados e incorpora aprendizaje autosupervisado, fusión condicionada por mora, pérdida de clasificación y localización de errores de acento para lograr alta precisión en la detección de errores de acento entre hablantes, superando a los modelos convencionales en alineación con los juicios humanos.

arxiv arXiv cs.CL · hace 2 h

La tutoría adaptativa con LLM mejora la participación y la eficiencia

Un nuevo sistema de tutoría adaptativa con LLM utiliza indicaciones conscientes del tema para mejorar la participación estudiantil. Supera a los modelos estáticos en pruebas A/B simuladas y del mundo real, reduciendo las interacciones en 3 turnos y aumentando las tasas de conversión de ejercicios, especialmente con un enrutador estocástico que alcanza el 28.1%.

arxiv arXiv cs.CL · hace 2 h

Se encuentra que las representaciones de la calidad del ensayo en los LLM son linealmente accesibles

Un estudio revela que la información sobre la calidad del ensayo en los modelos de lenguaje grandes está codificada en formas linealmente accesibles dentro de sus representaciones ocultas. Estas representaciones emergen capa por capa, permanecen estables entre diferentes prompts y muestran transferencia parcial entre distintos prompts de ensayo, con ensayos más largos dependiendo más de las capas más profundas del modelo. La investigación identifica "neuronas específicas para la puntuación de ensayos" cuya activación se correlaciona fuertemente con las puntuaciones y puede ser influenciada por intervenciones dirigidas.

arxiv arXiv cs.CL · hace 2 h

La sonda de caja negra detecta la memorización de identidades en modelos de texto a imagen

Una nueva sonda de caja negra distingue si los modelos de texto a imagen memorizan identidades o las fabrican, sin necesidad de fotos de referencia ni datos de entrenamiento. El conjunto de datos NAMESAKES incluye más de mil nombres y rostros de figuras públicas, junto con nombres perturbados menos conocidos, para evaluar esta capacidad en modelos de última generación.

arxiv arXiv cs.CL · hace 2 h

MedRLM: Marco de Inteligencia Clínica Multimodal Recursiva

MedRLs permite el razonamiento clínico de contexto largo mediante la inspección recursiva de datos del paciente en texto, imágenes, sensores y guías. Integra agentes especializados y una Memoria de Grafo de Evidencia Clínica para conectar las observaciones del paciente con evidencia, biomarcadores y criterios de derivación, apoyando el razonamiento activado por sensores y la revisión clínica con umbral de incertidumbre.

arxiv arXiv cs.CL · hace 2 h

ReNikud: Conversión de grafema a fonema en hebreo supervisada por audio

ReNikud presenta un enfoque novedoso para la conversión de grafema a fonema en hebreo, utilizando supervisión de audio débil y una arquitectura de pseudo-vocalización. Supera los métodos anteriores más avanzados en las pruebas G2-Ph del hebreo y en el nuevo benchmark MILIM, permitiendo un hebreo hablado más natural en aplicaciones de texto a voz.

arxiv arXiv cs.CL · hace 2 h

Algoritmo para la escritura de notas y estimación de tonalidad en la transcripción musical

Un nuevo algoritmo estima los nombres de las notas, las armaduras y las escalas locales a partir de una entrada similar a MIDI optimizando conjuntamente etapas modales y tonales. Se ha evaluado en partituras de jazz con melodía y armonía, transcripciones solistas, temas tradicionales y partituras de piano clásico, definiendo además distancias entre escalas comunes de jazz para la investigación musicológica.

arxiv arXiv cs.CL · hace 2 h

Los perfiles psicológicos de los LLM son artefactos de medición

Un análisis psicométrico formal muestra que los aparentes perfiles psicológicos de los modelos de lenguaje grandes están impulsados principalmente por el sesgo de respuesta, no por rasgos reales. Este sesgo, que cambia con la capacidad del modelo y se amplifica por el diseño del instrumento, explica el 81-90% de la variación entre modelos, superando ampliamente las diferencias de rasgos humanos. El estudio concluye que estos perfiles son artefactos de medición y no propiedades del modelo, instando al desarrollo de evaluaciones basadas en la ortogonalidad de la respuesta.

arxiv arXiv cs.CL · hace 2 h

CzechDocs: Conjunto de datos paralelo para traducción de documentos en lenguas minoritarias

CzechDocs es un conjunto de datos paralelo multilingüe de documentos formateados en formatos HTML, DOCX y PDF, que cubre el checo y lenguas minoritarias como ucraniano, inglés, vietnamita y ruso. Permite la evaluación de sistemas de traducción automática que preservan el formato de los documentos, con un subconjunto de validación y un kit de evaluación publicados públicamente. Se utilizará una división de prueba reservada para una tarea compartida futura sobre traducción a nivel de documento con preservación del formato.

arxiv arXiv cs.CL · hace 2 h

Direcciones de activación causal para mitigar la desalineación emergente en modelos de lenguaje

El ajuste fino de modelos de lenguaje con código inseguro provoca una desalineación emergente. Una dirección de activación compartida entre cuatro familias de modelos logra una separación del 99,6% entre las activaciones alineadas y las desalineadas, y su resta reduce el derrame de código en 21-51 puntos. La transferencia entre arquitecturas muestra supresión conductual pero carece de especificidad; las direcciones dentro del modelo son causalmente accionables, mientras que las direcciones entre modelos solo son causalmente reales.

arxiv arXiv cs.CL · hace 2 h

PsyScore: Un marco consciente de la psicometría para la calificación de ensayos adaptativa a rasgos y retroalimentación con andamiaje en ZPD

PsyScore integra la calificación diagnóstica y la retroalimentación instruccional utilizando un modelo de habilidad latente compartido. Cuenta con un evaluador de IRT neuronal adaptativo a rasgos basado en GPCM, un generador de retroalimentación con andamiaje en ZPD que adapta la instrucción según el nivel de competencia, y una estrategia de evaluación multi-perspectiva. Los experimentos en ASAP++ muestran calificaciones competitivas y una retroalimentación más alineada pedagógicamente en comparación con los métodos existentes.