FlashMorph est une méthode novatrice permettant de convertir les modèles Transformer en architectures hybrides qui équilibrent la précision de l'attention complète et l'efficacité de l'attention linéaire en optimisant la sélection des couches comme un problème de sous-ensemble sous contrainte budgétaire. L'approche construit un modèle morphable avec des branches d'attention parallèles et optimise conjointement les portes au niveau des couches sur des données synthétiques pour déterminer la configuration optimale.
- FlashMorph formule la sélection de couches hybrides comme un problème d'optimisation de sous-ensemble sous contrainte budgétaire plutôt que de s'appuyer sur des stratégies heuristiques.
- Il équipe chaque couche d'attention complète d'une branche d'attention linéaire convertie et fige les poids du modèle tout en optimisant les portes au niveau des couches.
- Une régularisation de linéarisation encourage l'utilisation de l'attention linéaire pour l'efficacité pendant le processus d'optimisation des portes.
- Les portes apprises sont discrétisées sous un budget d'attention complète prédéfini pour instancier l'architecture hybride finale.
- La méthode emploie la distillation standard des logits et le finetuning sur de longs contextes après l'instanciation.
FlashMorph découvre des configurations hybrides plus efficaces qui préservent une forte capacité de rappel sur les longs contextes et des performances générales aux benchmarks tout en réduisant substantiellement les coûts de sélection des couches par rapport aux méthodes existantes.