OpenWER introduce un marco de código abierto que mejora la robustez de la Tasa de Error de Palabra mediante normalización específica del idioma y detección de palabras compuestas. Permite alineación de Levenshtein basada en tokens, soportando métricas de precisión granulares e incrustación de metadatos. El análisis de 52 idiomas muestra reducciones absolutas de WER de hasta el 25%, avanzando hacia una evaluación justa de ASR multilingüe.
Un análisis mecanicista muestra que los cabezales de recuperación son causalmente necesarios para la recuperación de contexto largo. Las frecuencias más altas de RoPE no reducen el número de cabezales, y anular las dimensiones de baja frecuencia de RoPE en los cabezales de recuperación degrada la recuperación de manera dependiente de la dosis, con efectos observados en cinco modelos y múltiples arquitecturas.
SCOPE introduce un marco que utiliza una capa oculta legible y calibración conformante para detectar entradas fuera de distribución. Emplea un e-proceso de supermartingala para proporcionar garantías teóricas para la detección de límites de servicio, superando a los detectores de capa final estándar en múltiples backbones de LLM.
ARCO introduce un marco de rúbricas que permite la asignación de crédito a nivel de paso para agentes LLM de múltiples pasos. Actualiza conjuntamente un modelo compartido con cabezales de generación y puntuación, permitiendo que el contenido de la rúbrica y la función de puntuación coevolucionen mediante datos on-policy, mejorando el rendimiento y la interpretabilidad en benchmarks.
LISE descompone las incrustaciones de hablante en componentes interpretables sin anotaciones. Los experimentos de escucha muestran que los participantes humanos distinguen correctamente a los hablantes con una precisión del 83,9%, validando la interpretabilidad de los componentes mientras se preserva el rendimiento de ASV.
Se presenta un marco de generación de audio sintético para abordar la escasez de datos en el reconocimiento de voz del control de tráfico aéreo. Utiliza técnicas neuronales como Texto-a-Voz y conversión de acento para simular acentos no nativos del inglés, mejorando el rendimiento del Reconocimiento Automático de Voz. Los experimentos con el modelo Whisper en el corpus ATCO2 muestran una reducción en las tasas de error de palabras cuando se ajusta finamente con datos sintéticos o mixtos reales-sintéticos.
Un nuevo marco de evaluación para la reconstrucción de voz de texto a habla introduce medidas subjetivas y objetivas para evaluar la inteligibilidad percibida y la identidad del hablante. Aborda las limitaciones de los métodos existentes proponiendo una métrica distribucional de doble referencia que captura mejor el equilibrio entre inteligibilidad e identidad, validado en 193 hablantes utilizando 17 sistemas TTS de cero disparos.
Los modelos de lenguaje grandes utilizan rutas no contiguas y redundantes para recuperar atributos factuales. Estas rutas a menudo saltan capas e involucran múltiples rutas equivalentes, lo que indica un cálculo de conocimiento distribuido y redundante, desafiando la comprensión actual del almacenamiento y la recuperación de conocimiento en los LLMs.
SciFactCheck evalúa 18 LLM en cinco dominios científicos, encontrando que los modelos ajustados finamente desde el punto de vista científico muestran una fiabilidad factual degradada y una confianza interna reducida a pesar de una mayor asertividad lingüística. Los estudios humanos revelan un acuerdo limitado entre las herramientas de verificación de hechos y los juicios de expertos, destacando los desafíos en la definición de afirmaciones científicas válidas.
Un estudio revela que las voces de IA sexualizadas en plataformas comerciales refuerzan las normas binarias de género. Las voces codificadas como femeninas se describen con mayor frecuencia con términos sumisos y sexualizados, mientras que las voces codificadas como masculinas se asocian con dominancia y rasgos positivos, reflejando asimetrías de poder de género arraigadas.
CAT-Translate presenta una familia de modelos pequeños y de código abierto especializados en la traducción japonés-inglés. Mediante el uso de corpus paralelos sintéticos y un enfoque de ajuste fino en dos etapas, los modelos logran un rendimiento superior en benchmarks del mundo real en los ámbitos empresarial, legal, médico, financiero y de patentes, superando a los grandes modelos multilingües en aplicaciones prácticas.
Un marco de aprendizaje por refuerzo permite un control preciso de la precisión clínica y la exhaustividad en la generación de informes radiológicos. Al integrar una recompensa clínica y un entrenamiento relativo al grupo, el modelo mejora la eficacia clínica más allá de las métricas de fluidez del lenguaje, superando a los métodos de última generación en el conjunto de datos MIMIC-CXR.
Una evaluación de referencia de 240 elementos de prueba en árabe a través de ocho dominios y diez habilidades evalúa doce modelos de lenguaje pequeños en configuraciones zero-shot. Gemma 3 (12B) obtuvo la puntuación general más alta (4.548/5), seguido por Aya y C4AI Command Arabic, con un rendimiento vinculado más a la alineación en árabe y al seguimiento de instrucciones que al tamaño del modelo. Los modos de fallo comunes incluyen filtración de prompt, alucinación y débil adherencia a la tarea.
El drama francés muestra un cambio de temas aristocráticos a burgueses a medida que se desarrollaba el capitalismo. Los temas burgueses respondieron a los choques del PIB a partir del siglo XVIII, con las preocupaciones económicas domésticas volviéndose sensibles solo después de 1820. Los efectos de pares y la sensibilidad económica explican conjuntamente esta transición, respaldada por simulaciones.
Una canalización de alineación en dos etapas mejora el rendimiento pedagógico de los modelos de lenguaje grandes en la corrección de errores matemáticos. El enfoque combina el ajuste fino supervisado con la Optimización Directa de Preferencias utilizando datos sintéticos sobre andamiaje y factualidad, superando a los modelos base y existentes en precisión y calidad de enseñanza. Las evaluaciones humanas muestran que el modelo compite con una línea base propietaria, ofreciendo mayor apertura y reproducibilidad.
MedHal-Loc introduce un benchmark para evaluar si los detectores de alucinaciones médicas localizan con precisión los errores. Encuentra que, aunque algunas arquitecturas localizan bien por encima del azar, una pipeline basada en grafos de conocimiento no funciona mejor que el azar debido a la mala extracción de entidades, a pesar de un fuerte rendimiento de detección. Los resultados muestran que la capacidad de detección no garantiza una localización fiel, desafiando las suposiciones sobre la explicabilidad arquitectónica.
Un estudio de ablación controlado evalúa los componentes RAG agénticos utilizando un modelo local de 7B en HotpotQA. La recuperación híbrida fija supera a la enrutamiento adaptativo por 1.8 EM y 1.9 F1, mientras que dos iteraciones de recuperación capturan el 95% de las ganancias de cinco. La descomposición de consultas y el reordenamiento con cross-encoder muestran mejoras estadísticamente significativas pero menores.
PeerMathDial es el primer conjunto de datos de diálogos de resolución colaborativa de problemas matemáticos entre pares en aulas de escuela secundaria. Incluye 55 diálogos de 27 estudiantes, con un total de 6,406 turnos, y presenta una taxonomía de actos de diálogo basada en el corpus. El conjunto de datos permite investigar la evolución del diálogo, las relaciones entre rasgos estudiantiles y comportamiento, y el rendimiento de LLMs al simular interacciones entre estudiantes.
El artículo propone un marco de rúbrica dinámica que adapta los espacios de evaluación MQM a instancias individuales de traducción. Al seleccionar subtipos de espacios y granularidades basadas en necesidades específicas del caso, mejora la cobertura de errores y la localización, superando a los métodos de rúbricas estáticas en los benchmarks a nivel de span de WMT.
Microsoft ha liberado como código abierto FastContext-1.0, un subagente ligero de exploración de repositorios que separa la exploración del repositorio de código de la resolución de tareas en agentes de codificación LLM. Utiliza llamadas de herramientas paralelas solo de lectura para devolver rutas de archivo compactas y rangos de líneas, mejorando la precisión de extremo a extremo y reduciendo el uso de tokens hasta un 60.3%, con el modelo 4B-RL superando a un modelo 30B-SFT en SWE-bench Pro.