github llama.cpp · 3일 전 · inference

llama.cpp b10831, TQ1_0 Vulkan 지원 추가 및 Metal 폴백 수정

번역 English → 한국어

llama.cpp b10831 릴리스는 Vulkan 백엔드에 대한 TQ1_0 양자화 지원을 도입하여 행렬 곱셈, mat-vec, 역양자화, get_rows 등의 연산을 가능하게 합니다. 이 업데이트는 또한 Metal 백엔드를 수정하여 지원되지 않는 TQ1_0 연산을 적절히 거부하고 CPU 실행으로 폴백되도록 보장합니다.

Vulkan 구현은 레지스터 문제를 피하기 위해 TQ1_0의 3의 거듭제곱을 32비트 상수로 패킹합니다.
types.glsl의 공유 디코드 헬퍼가 다양한 셰이더 파일 간에 중복된 로직을 대체합니다.
독립형 역양자화 셰이더의 워크그룹 분모 계산 버그가 수정되었습니다.
Metal 백엔드는 GET_ROWS 및 mat-mul에 대해 TQ1_0을 거부하여 기존 NVFP4 처리와 일치합니다.
테스트 케이스가 축소되고 주석이 ASCII로 표준화되었습니다.

Vulkan 변경 사항은 AMD gfx1151에서 검증되었으며 모든 관련 백엔드 연산이 테스트를 통과했습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 2일 전 · 조회수 2회

llama.cpp, iGPU에서 기본적으로 지연 텐서 로딩 비활성화

llama.cpp 프로젝트는 b10867 릴리스에서 내장 GPU(iGPU)에 대해 기본적으로 지연 텐서 로딩을 비활성화했습니다. 이 변경은 이전 "AUTO" 지연 모드 설정에서 도입된 회귀를 해결합니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10864이 하이브리드 모델의 체크포인트 evicton을 수정함

llama.cpp 프로젝트는 `create_checkpoint()` 내의 체크포인트 간격 evicton 로직에 대한 수정 사항을 포함하는 빌드 b10864을 출시했습니다. 이전에는 evicton 규칙이 가장 오래된 체크포인트를 유지하고 `checkpoint_min_step` 내에서 이후 체크포인트를 지웠습니다. 그 결과, 이 임계값보다 짧은 프롬프트는 재개에 필요한 체크포인트를 잃었습니다. 이로 인해 하이브리드 및 순환 모델은 이전 체크포인트에서 불필요하게 다시 prefill 해야 했습니다.

github llama.cpp · 3일 전 · 조회수 6회

llama.cpp b10844, Vulkan에서 DeepSeek-V4 하이퍼커넥션 융합 연산 추가

llama.cpp 프로젝트가 버전 b10844를 출시하여 Vulkan 백엔드에서 DeepSeek-V4 하이퍼커넥션 융합 연산(DSV4_HC_COMB/PRE/POST)에 대한 지원을 도입했습니다. 이 업데이트는 이러한 특정 최적화와 관련하여 Vulkan을 CUDA 및 Metal과 동등한 수준으로 맞춥니다.

github llama.cpp · 3일 전 · 조회수 4회

llama.cpp b10842에 gfx90c HIP 지원 추가

llama.cpp 프로젝트는 HIP를 통해 gfx90c 아키텍처에 대한 지원을 도입한 빌드 b10842를 출시했습니다.

media Hugging Face Forums · 3일 전 · 조회수 8회

오픈 모델을 위한 측정된 하드웨어 적합성을 갖춘 AI Model Radar 출시

AI Model Radar라는 새로운 사이트는 추정이 아닌 측정 데이터를 사용하여 어떤 오픈 모델이 사용자의 GPU 또는 Mac에 실제로 적합한지 결정하는 데 도움을 줍니다. 플랫폼은 실제 게시된 GGUF 파일을 기반으로 가중치 크기를 계산하고 모델 구성에서 컨텍스트 캐시를 레이어별로 계산합니다.