media Hugging Face Forums · il y a 1 h · open_models

Noah DeAngelis construit une attention basée sur le routage expérimentale pour les modèles GPT

Traduit de English → Français

Noah DeAngelis a développé un mécanisme d'attention basé sur le routage expérimental pour les modèles GPT, implémenté dans un projet PyTorch nommé RoutingGPT. L'approche utilise une couche linéaire apprise pour sélectionner un sous-ensemble de tokens comme clés et valeurs, tout en conservant tous les tokens comme requêtes.

Avec un ratio de routage par défaut de 25 %, la complexité passe de T × T pour l'attention dense à T × 0.25T.
L'objectif est de réduire le calcul d'attention et de permettre des longueurs de contexte plus longues sur du matériel entrée de gamme.
Le projet est publié sous la licence Apache 2.0 et est actuellement expérimental sans benchmarking rigoureux.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Training methods

Lire l'original

Les mesures suggèrent de revoir la valeur par défaut de q_proj/v_proj pour les modules cibles de LoRA

L'auteur mesure le chevauchement des sous-espaces de gradient sur quatre modèles pour évaluer la valeur par défaut standard de LoRA qui cible les projections de requête et de valeur. L'analyse indique que cette valeur par défaut peut être sous-optimal lorsque l'objectif est de conserver les capacités précédentes plutôt que de maximiser la précision sur une nouvelle tâche.

media Hugging Face Forums · il y a 6 j · 13 vues

Le prototype SpiralCoreAttention sélectionne des blocs de tokens pour le fine-tuning QLoRA sur de longues séquences

Un développeur sollicite des retours sur SpiralCoreAttention, un prototype expérimental de sélection du contexte pendant l'entraînement pour le fine-tuning de LLM à poids ouverts. Au lieu de traiter des séquences longues complètes lors de chaque passage avant et arrière, le système sélectionne des blocs de tokens spécifiques de la séquence à entraîner, tout en évaluant l'adaptateur résultant sur des séquences de contexte complet conservées.

lab Hugging Face Blog · il y a 13 j · 37 vues

Multiverse Computing réduit la VRAM de la distillation de connaissances par une perte KL fusionnée et fractionnée

Multiverse Computing présente une approche économe en mémoire pour la distillation de connaissances des grands modèles de langage, combinant la mise en cache hors ligne des logits top-K avec une perte de divergence Kullback-Leibler (KL) fusionnée et fractionnée. Cette méthode supprime le besoin de conserver simultanément les modèles enseignant et élève en mémoire, réduisant drastiquement les exigences en VRAM.

media r/LocalLLaMA · il y a 19 j · 31 vues

L'AFM3 20B d'Apple utilise l'élagage de suivi d'instructions pour activer ~20 % des couches

Apple a introduit une nouvelle architecture pour ses modèles fondamentaux de troisième génération (AFM3) qui utilise l'« Élagage de Suivi d'Instructions » pour réduire significativement le nombre de paramètres actifs. Le modèle est conçu pour activer environ 20 % de ses couches MLP en prenant des décisions de routage une fois par prompt plutôt que par token.

media Hugging Face Forums · il y a 23 j · 35 vues

PIN v2 découple la largeur du modèle du coût de stockage via le partage de poids

L'architecture PIN v2 introduit une méthode pour pré-sélectionner la taille et la vitesse d'inférence d'un réseau neuronal avant l'entraînement en utilisant le partage de poids. Cette technique force des groupes de cellules à contenir des valeurs identiques, permettant au réseau de maintenir sa largeur tout en réduisant drastiquement le nombre de poids stockés.