audio.cpp 프레임워크가 C++ 및 GGML을 사용하여 음악 생성, SFX 생성 및 소스 분리 기능을 추가하는 주요 확장을 출시했습니다. 이 업데이트에는 ACE-Step 1.5 Turbo, HeartMuLa, Stable Audio 3 Small and Medium, Mel-Band RoFormer, HTDemucs 등 여러 새로운 모델이 통합되었습니다.

  • 이번 릴리스로 프레임워크의 커버리지는 계획된 28개 기능 중 21개(75%)가 되었습니다.
  • HeartMuLa는 이제 단일 실행으로 약 10분 분량의 오디오를 생성할 수 있게 되어 이전의 짧은 제한이 제거되었습니다.
  • ACE-Step Turbo는 60.16초의 월 타임에 600초 분량의 음악을 생성하며 실시간 계수는 0.100입니다.
  • 장기 사용 시 추론 후 잔류 VRAM을 줄이기 위해 mem_saver 모드를 사용할 수 있습니다.
  • HTDemucs는 Python 경로보다 느리며, Stable Audio의 웜업 실행은 성능이 혼합되어 나타납니다.

저자는 현재 릴리스가 백엔드별 성능 최적화 이전에 공유 프레임워크 내에서 엔드투엔드 경로를 확립하는 것을 우선시한다고 언급했습니다.