turboquant v0.3.0, llama.cpp 의 Tesla P100 fp16 정밀도 버그 수정

turboquant 프로젝트가 버전 0.3.0 을 출시했으며, 여기에는 Tesla P100 GPU 에 영향을 미치는 llama.cpp 의 CUDA 코드에서 오랫동안 존재해 온 정밀도 문제를 수정하는 3 줄의 패치가 포함되어 있습니다.

• 이 수정은 sm_61 아키텍처에 대한 기존 예외를 sm_60 (Pascal P100) 으로 확장하여, 이전의 버그 있는 경로 대신 올바른 fp16 연산을 강제합니다.
• Qwen3.6-27B 에 대한 벤치마킹 결과, 중앙값 KL 발산이 0.0023 에서 0.000001 로 개선되었고, 상위 토큰 일치율이 96.5% 에서 99.9% 로 상승했습니다.
• 성능 벤치마크에 따르면 디코드 속도가 약 1.4% 증가한 반면, prefill 은 노이즈 범위 내에서 동일하게 유지되었습니다.
• 이 패치는 Volta, Ampere, Blackwell 등 다른 아키텍처에는 영향을 미치지 않는 것으로 확인되었으며, 이들은 서로 다른 커널을 사용합니다.

이 업데이트는 이전에 출력 품질을 저하시키면서도 성능상의 이점을 제공하지 않았던 버그를 해결하여 로컬 LLM 추론에서 Tesla P100 의 정확성과 가치를 크게 향상시킵니다.