BDLM Mamba-H가 역방향 스캔을 제한하여 하이브리드 확산 모델에서 정확한 캐싱을 가능하게 함

연구자들은 Mamba와 어텐션 아키텍처를 결합한 하이브리드 블록 확산 언어 모델(BDLM)을 제안하며, 기존 하이브리드 확산 모델에 내재된 캐싱 문제를 해결했습니다. 역방향 Mamba 스캔을 활성 디노이징 블록으로 제한함으로써 이 방법은 블록 간 정확한 KV 캐시 재사용을 가능하게 하여 전체 시퀀스 스캔의 접두사 전용 한계를 극복합니다.

• BDLM Mamba-H 아키텍처는 역방향 스캔을 활성 디노이징 블록으로 제한하여 블록별 확산 중 정밀한 캐싱을 가능하게 합니다.
• DCLM에서 87M 파라미터 스윕 결과, BDLM Mamba-H는 BDLM 어텐션 및 전체 시퀀스 베이스라인과 비교하여 C4-en 검증 펄플렉시티에서 최상의 성능을 달성했습니다.
• 350M 파라미터 모델은 성능 지표 측면에서 BDLM 어텐션과 경쟁력 있습니다.
• 긴 문맥 추론 시, BDLM Mamba-H는 65K 토큰에서 전체 시퀀스 DiffuMamba-H의 19.7배, 262K에서 BDLM 어텐션의 3.7배 처리량을 달성했습니다.

이 접근 방식은 Mamba 하이브리드가 긴 문맥 확산에 적합한 아키텍처임을 보여주며, 경쟁력 있는 펄플렉시티를 유지하면서 상당한 처리량 개선을 제공합니다.