media Hugging Face Forums · há 1 h · open_models

Medições sugerem revisar o padrão q_proj/v_proj para módulos alvo do LoRA

Traduzido do English → Português (BR)

O autor mede a sobreposição do subespaço de gradiente em quatro modelos para avaliar o padrão padrão do LoRA, que direciona as projeções de consulta e valor. A análise indica que esse padrão pode ser subotimal quando o objetivo é reter capacidades anteriores em vez de maximizar a precisão em uma nova tarefa.

No Llama-3-8B ajustado para código para prosa, a retenção no HumanEval melhorou de 54,1% com o padrão q,v para 75,6% usando um posicionamento medido que excluiu v_proj inteiramente.
A ordem de importância dos módulos se reproduz em Llama-3-8B, Mistral-7B, Qwen2.5-7B e TinyLlama-1.1B, com o_proj em primeiro lugar e v_proj em último ou ausente.
Uma regra barata baseada no tipo de módulo e na profundidade da camada tem bom desempenho (AUROC 0,83 a 0,92), mas seleciona um conjunto diferente de módulos, diferindo em cerca de um terço da seleção baseada em gradiente.

O autor fornece uma notebook do Colab e um repositório GitHub para reproduzir essas medições, observando que a implementação é licenciada sob AGPL.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Training methods

Benchmarks

Benchmark	Modelo	Pontuação
HumanEval	Llama-3-8B	54.1%

Artigos relacionados

media Hugging Face Forums · há 3 d · 13 visualizações

Protótipo SpiralCoreAttention seleciona blocos de tokens para ajuste fino QLoRA de sequências longas

Um desenvolvedor está buscando feedback sobre o SpiralCoreAttention, um protótipo experimental de seleção de contexto durante o treinamento para ajuste fino de LLMs de pesos abertos. Em vez de processar sequências longas completas em cada passagem direta e inversa, o sistema seleciona blocos específicos de tokens da sequência para treinar, enquanto avalia o adaptador resultante em sequências de contexto completo mantidas fora do conjunto de treinamento.

lab Hugging Face Blog · há 10 d · 30 visualizações

Multiverse Computing reduz VRAM de destilação de conhecimento com perda KL em blocos fundidos

A Multiverse Computing apresenta uma abordagem eficiente em memória para a destilação de conhecimento de modelos de linguagem grandes, combinando o cache offline de top-K logits com uma perda de divergência Kullback-Leibler (KL) em blocos fundidos. Este método elimina a necessidade de manter os modelos professor e aluno na memória simultaneamente, reduzindo drasticamente os requisitos de VRAM.

media r/LocalLLaMA · há 16 d · 29 visualizações

AFM3 20B da Apple usa poda de seguimento de instruções para ativar ~20% das camadas

A Apple introduziu uma nova arquitetura para seus modelos fundamentais de terceira geração (AFM3) que utiliza "Poda de Seguimento de Instruções" para reduzir significativamente a contagem de parâmetros ativos. O modelo é projetado para ativar aproximadamente 20% de suas camadas MLP tomando decisões de roteamento uma vez por prompt, em vez de por token.

media Hugging Face Forums · há 20 d · 35 visualizações

PIN v2 desacopla a largura do modelo do custo de armazenamento por meio de amarração de pesos

A Arquitetura PIN v2 introduz um método para pré-selecionar o tamanho e a velocidade de inferência de uma rede neural antes do treinamento, utilizando amarração de pesos. Essa técnica força grupos de células a armazenar valores idênticos, permitindo que a rede mantenha sua largura enquanto reduz drasticamente o número de pesos armazenados.

arxiv arXiv cs.LG · há 29 d · 26 visualizações

SkewAdam usa estado de otimizador em camadas para reduzir a memória do treinamento MoE em 97%

Pesquisadores apresentam o SkewAdam, um otimizador projetado para modelos mixture-of-experts (MoE) que aloca diferentes tipos de estado para populações distintas de parâmetros, reduzindo drasticamente o uso de memória. Ao atribuir momento float32 e momentos segundos fatorados ao backbone, momentos segundos fatorados aos experts e momentos segundos exatos ao roteador, o SkewAdam reduz o estado do otimizador de 50,6 GB para 1,29 GB em um modelo com 6,78B de parâmetros.