llama.cpp의 CUDA 백엔드에 대한 패치는 견고한 기능 검사를 추가하여 Ampere 이전 GPU에서의 멀티 토큰 예측(MTP) 충돌을 수정합니다. 이 업데이트는 BF16이 지원될 때만 사용되도록 보장하며, Kepler와 같은 아키텍처에서는 FP16 또는 FP32로 폴백됩니다.

  • 지원되지 않는 하드웨어에서 잘못된 BF16 계산 선택으로 인한 cuBLAS 충돌을 수정합니다.
  • 폴백 체인 구현: 지원되면 BF16, 빠르면 FP16, 그렇지 않으면 FP32.
  • Qwen3.6 35B A3B q4xl로 네 대의 Tesla K40c (Kepler) GPU에서 테스트됨.
  • MTP 활성화 성능은 약 25 tok/s로, 기본값인 약 22 tok/s 및 MTP 비활성화 시 약 17.5 tok/s와 비교됩니다.

이 변경으로 새 GPU에 영향을 주지 않고도 오래된 카드에서도 MTP 디코딩이 올바르게 작동합니다.