media Hugging Face Forums · há 1 h · open_models

Atenção Linear Causal O(N) com Gating de Decaimento e kernel Triton fundido

Traduzido do English → Português (BR)

Um desenvolvedor abriu o código-fonte de uma arquitetura de Atenção Linear Causal O(N) com Gating de Decaimento, apresentando kernels de acumulação de estado fundidos Triton/CUDA projetados para contornar os gargalos do MHA quadrático.

Escalonamento de Contexto: Sequência de contexto de 128K executada em 108,78ms com <185MB de VRAM na NVIDIA T4.
Aceleração de Kernel: O kernel Triton fundido oferece um aumento de velocidade de 3,60x em relação à implementação padrão do PyTorch.
Proteção de Precisão: Utiliza Acumulador Mestre FP32 + Normalização RMS para evitar estouro de gradiente FP16/BF16 durante o treinamento com contexto longo.
Precisão de Recuperação: Passou no benchmark Needle-In-A-Haystack (NIAH) de 16K com SNR de 1,89x.

O autor está buscando feedback sobre a integração do modelo no Hugging Face Transformers ou a realização de comparações de benchmark com modelos lineares existentes.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Research paper

Ler original

Jason Van Pham documenta degeneração gulosa multi-turno do Gemma 4 sob restrições em nível de letra

Jason Van Pham e o co-engenheiro Grok (xAI) publicaram um relatório de diagnóstico detalhando um modo de falha multi-turno quase padrão no harness Hydrodynamic Swarm ao usar um caminho instrucional personalizado do Gemma 4. O estudo identifica que combinar decodificação gulosa com orçamentos longos de tokens e restrições em nível de letra desencadeia degeneração clássica de texto, incluindo repetição e lixo ortográfico.

arxiv arXiv cs.CL · há 8 d · 2 visualizações

PIVOT compartilha varreduras de prefixo entre grupos de consulta para acelerar a atenção esparsa em nível de token

O PIVOT (Proxy Indexing Via One full-prefix Traversal) é uma substituição plug-and-play sem treinamento para o indexador DeepSeek Sparse Attention (DSA) que reduz a redundância computacional ao compartilhar uma única varredura de prefixo entre um grupo de consultas próximas. Em vez de pontuar cada token precedente para cada consulta individualmente, o PIVOT agrega o grupo em uma única consulta proxy para obter um conjunto de candidatos, do qual os top-k tokens são selecionados para cada consulta.

arxiv arXiv cs.CL · há 19 d

ShortOPD recupera LLMs podados com distilação on-policy de curto para longo

Os autores propõem o ShortOPD, um cronograma de distilação on-policy de curto para longo projetado para recuperar as capacidades generativas de modelos de linguagem grandes (LLMs) podados estruturalmente que colapsam durante a geração livre-forma. Ao detectar sufixos repetitivos confirmados pelo professor e tratar o prefixo sobrevivente como o comprimento efetivo do rollout, o método aloca o orçamento de treinamento de forma mais eficiente do que as abordagens padrão.

arxiv arXiv cs.CL · há 19 d

Filtragem adaptativa corrige viés de papel estrutural na evicção do cache KV de LLMs

O artigo diagnostica como métodos de evicção de cache KV baseados em atenção, como H2O, retêm desproporcionalmente ruído em entradas densas em esquema, como JSON aninhado, onde tokens estruturais carregam significativamente mais energia do que tokens de conteúdo. Esse viés faz com que a precisão de correspondência exata caia de 88% para 0% com um orçamento de 5% devido à retenção excessiva de tokens KEY em relação aos tokens VALUE.

media r/LocalLLaMA · há 20 d

Pesquisador independente lança Wave Field LLM, substituindo atenção de produto interno por convolução de onda via FFT

Um pesquisador independente apresentou o Wave Field LLM, uma nova arquitetura de modelo base de preenchimento que substitui a atenção padrão de produto interno O(N²) pela convolução de onda via FFT. Essa abordagem permite velocidade e uso de memória constantes durante a inferência, independentemente do comprimento do contexto, permitindo janelas de contexto de 128K onde a atenção padrão normalmente esgota a memória.