El estudio investiga si corregir el sesgo de posición permite que el ordenamiento por atención de un solo pase iguale el rendimiento de los métodos iterativos en modelos de lenguaje de contexto largo. Los experimentos en los modelos LLaMA-2 y YaRN-Llama-2 refutan la hipótesis de que la desviación del sesgo por sí sola es suficiente para cerrar la brecha de rendimiento.
- En LLaMA-2-7B-32K-Instruct, la corrección del sesgo produjo una precisión de contención idéntica (94.83%) al ordenamiento de un solo pase sin calibrar.
- En YaRN-Llama-2-7b-64k, la corrección del sesgo mejoró la precisión en 8.67 puntos porcentuales pero permaneció 14.84pp por detrás del ordenamiento iterativo.
- El método corregido cerró solo el 37% de la brecha de rendimiento entre los enfoques de ordenamiento de un solo pase e iterativo.
Los resultados indican que la corrección del sesgo de posición es insuficiente para igualar el ordenamiento iterativo, lo que sugiere que el reordenamiento repetido proporciona beneficios adicionales más allá de la corrección del sesgo.