media Hugging Face Forums · há 1 h · open_models

Noah DeAngelis constrói atenção baseada em roteamento experimental para modelos GPT

Traduzido do English → Português (BR)

Noah DeAngelis desenvolveu um mecanismo de atenção baseado em roteamento experimental para modelos GPT, implementado em um projeto PyTorch chamado RoutingGPT. A abordagem usa uma camada linear aprendida para selecionar um subconjunto de tokens como chaves e valores, mantendo todos os tokens como consultas.

Com uma taxa de roteamento padrão de 25%, a complexidade é reduzida de T × T para atenção densa para T × 0.25T.
O objetivo é reduzir o cálculo de atenção e permitir comprimentos de contexto maiores em hardware de baixo custo.
O projeto é lançado sob a licença Apache 2.0 e atualmente é experimental, sem benchmarking rigoroso.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Training methods

Ler original

Medições sugerem revisar o padrão q_proj/v_proj para módulos alvo do LoRA

O autor mede a sobreposição do subespaço de gradiente em quatro modelos para avaliar o padrão padrão do LoRA, que direciona as projeções de consulta e valor. A análise indica que esse padrão pode ser subotimal quando o objetivo é reter capacidades anteriores em vez de maximizar a precisão em uma nova tarefa.

media Hugging Face Forums · há 6 d · 13 visualizações

Protótipo SpiralCoreAttention seleciona blocos de tokens para ajuste fino QLoRA de sequências longas

Um desenvolvedor está buscando feedback sobre o SpiralCoreAttention, um protótipo experimental de seleção de contexto durante o treinamento para ajuste fino de LLMs de pesos abertos. Em vez de processar sequências longas completas em cada passagem direta e inversa, o sistema seleciona blocos específicos de tokens da sequência para treinar, enquanto avalia o adaptador resultante em sequências de contexto completo mantidas fora do conjunto de treinamento.

lab Hugging Face Blog · há 13 d · 37 visualizações

Multiverse Computing reduz VRAM de destilação de conhecimento com perda KL em blocos fundidos

A Multiverse Computing apresenta uma abordagem eficiente em memória para a destilação de conhecimento de modelos de linguagem grandes, combinando o cache offline de top-K logits com uma perda de divergência Kullback-Leibler (KL) em blocos fundidos. Este método elimina a necessidade de manter os modelos professor e aluno na memória simultaneamente, reduzindo drasticamente os requisitos de VRAM.

media r/LocalLLaMA · há 19 d · 31 visualizações

AFM3 20B da Apple usa poda de seguimento de instruções para ativar ~20% das camadas

A Apple introduziu uma nova arquitetura para seus modelos fundamentais de terceira geração (AFM3) que utiliza "Poda de Seguimento de Instruções" para reduzir significativamente a contagem de parâmetros ativos. O modelo é projetado para ativar aproximadamente 20% de suas camadas MLP tomando decisões de roteamento uma vez por prompt, em vez de por token.

media Hugging Face Forums · há 23 d · 35 visualizações

PIN v2 desacopla a largura do modelo do custo de armazenamento por meio de amarração de pesos

A Arquitetura PIN v2 introduz um método para pré-selecionar o tamanho e a velocidade de inferência de uma rede neural antes do treinamento, utilizando amarração de pesos. Essa técnica força grupos de células a armazenar valores idênticos, permitindo que a rede mantenha sua largura enquanto reduz drasticamente o número de pesos armazenados.