BCMT: Transformador de Memória Causal em Blocos para modelagem eficiente de contexto longo

Um pesquisador apresenta o BCMT, uma nova arquitetura para modelagem de linguagem com contexto longo que substitui a autoatenção global densa por operações em blocos. O modelo combina atenção causal local com resumos contextuais adaptativos e propagação de memória causal para capturar eficientemente dependências de longo alcance.

• A complexidade computacional é reduzida de O(T²) para O(TL) para um tamanho de bloco fixo.
• A implementação inclui a arquitetura completa, uma ablação apenas com H (H-only) e uma linha de base padrão de Transformer.
• Experimentos no WikiText-103 mostram perplexidades de validação próximas às dos Transformers densos, com maior throughput e menor uso de memória GPU.

O projeto é de código aberto, fornecendo código em PyTorch e scripts de treinamento para revisão da comunidade.