O FlashMorph é um método inovador para converter modelos Transformer em arquiteturas híbridas que equilibram a precisão da atenção completa com a eficiência da atenção linear, otimizando a seleção de camadas como um problema de subconjunto com restrição orçamentária. A abordagem constrói um modelo morfável com ramos de atenção paralelos e otimiza conjuntamente os gates camada por camada em dados sintéticos para determinar a configuração ideal.
- O FlashMorph formula a seleção de camadas híbridas como um problema de otimização de subconjunto com restrição orçamentária, em vez de depender de estratégias heurísticas.
- Ele equipa cada camada de atenção completa com um ramo de atenção linear convertido e congela os pesos do modelo enquanto otimiza os gates camada por camada.
- Uma regularização de linearização incentiva a dependência da atenção linear para eficiência durante o processo de otimização dos gates.
- Os gates aprendidos são discretizados sob um orçamento predefinido de atenção completa para instanciar a arquitetura híbrida final.
- O método emprega destilação de logits padrão e ajuste fino de longo contexto após a instanciação.
O FlashMorph descobre configurações híbridas mais eficazes que preservam forte recall de longo contexto e desempenho em benchmarks gerais, enquanto reduzem substancialmente os custos de seleção de camadas em comparação com métodos existentes.