Un investigador presenta BCMT, una nueva arquitectura para el modelado de lenguaje con contexto largo que reemplaza la autoatención global densa con operaciones por bloques. El modelo combina atención causal local con resúmenes contextuales adaptativos y propagación de memoria causal para capturar eficientemente dependencias de largo alcance.

  • La complejidad computacional se reduce de O(T²) a O(TL) para un tamaño de bloque fijo.
  • La implementación incluye la arquitectura completa, una ablación solo con H (H-only) y una línea base estándar de Transformer.
  • Los experimentos en WikiText-103 muestran perplejidades de validación cercanas a las de Transformers densos, con mayor rendimiento y menor uso de memoria GPU.

El proyecto es de código abierto, proporcionando código en PyTorch y scripts de entrenamiento para revisión comunitaria.