YaRN aleatorizado mejora el razonamiento de contexto largo combinando la extrapolación posicional de YaRN con codificación posicional aleatorizada y un currículo de longitud. Supera al ajuste fino estándar en benchmarks como BABILong y MRCR, mostrando ganancias significativas en longitudes de contexto muy fuera de distribución.
YaRN aleatorizado mejora la generalización de longitud para el razonamiento de contexto largo
Traducido del English → Español