FlashMorph는 풀 어텐션 정확도와 선형 어텐션 효율성을 균형 있게 맞추기 위해 레이어 선택을 예산 제약 부분집합 문제로 최적화하는 트랜스포머 모델을 하이브리드 아키텍처로 변환하는 새로운 방법입니다. 이 접근 방식은 병렬 어텐션 브랜치가 있는 변형 가능한 모델을 구축하고 합성 데이터에서 계층별 게이트를 공동 최적화하여 최적 구성을 결정합니다.

  • FlashMorph는 휴리스틱 전략에 의존하는 대신 하이브리드 레이어 선택을 예산 제약 부분집합 최적화 문제로 공식화합니다.
  • 각 풀 어텐션 레이어에 변환된 선형 어텐션 브랜치를 갖추고 모델 가중치를 고정하면서 계층별 게이트를 최적화합니다.
  • 선형화 정규화는 게이트 최적화 과정에서 효율성을 위해 선형 어텐션에 의존하도록 장려합니다.
  • 학습된 게이트는 사전 설정된 풀 어텐션 예산 하에서 이산화되어 최종 하이브리드 아키텍처를 인스턴스화합니다.
  • 이 방법은 인스턴스화 후 표준 로짓 증류와 긴 컨텍스트 파인튜닝을 사용합니다.

FlashMorph는 기존 방법과 비교하여 레이어 선택 비용을 크게 줄이면서도 강력한 긴 컨텍스트 회상 및 일반 벤치마크 성능을 보존하는 더 효과적인 하이브리드 구성을 발견합니다.