llama.cpp 프로젝트가 빌드 b10369를 출시하여 pocket-tts 텍스트 음성 변환 모델에 대한 지원을 도입했습니다. 이 업데이트에는 성능 최적화를 위해 GEMM과 col2im을 사용한 전치 컨볼루션의 새로운 구현이 포함되어 있습니다.

  • 이전 구현 대비 CUDA에서 프레임당 생성 시간이 80% 단축되고 CPU에서는 50% 단축됩니다.
  • 출력은 참조 구현과 상관관계 0.999994로 일치하며 프레임 수도 동일합니다.
  • 언어 팩은 이제 새로운 mmproj 키를 통해 음성 종료 패딩 및 짧은 프롬프트 패딩을 조정합니다.
  • 긴 프랑스어 텍스트 테스트에서 참조 시간(22.96초) 대비 2% 이내의 생성 시간(23.44초)이 측정되었습니다.

이 최적화는 충실도를 유지하면서 오디오 합성을 크게 가속화하며, 기존 mmproj 파일은 새로운 구성 키를 포함하도록 변환해야 합니다.