github llama.cpp · 1시간 전 · inference

llama.cpp b10456이 Arc 70에서 7배의 처리량 향상을 위해 SYCL 스레드 수를 수정함

번역 English → 한국어

llama.cpp 프로젝트는 양자화된 복사 커널 실행 시 SYCL 백엔드에 대한 중요한 수정을 포함하는 버전 b10456을 출시했습니다. 이 업데이트는 스레드 및 블록 수를 양자화 크기에 비례하도록 조정하여 과소 및 과다 구독 문제를 효과적으로 줄였습니다.

양자화된 cpy 커널 실행 시 스레드/블록 수 수정 (PR #27160).
Arc 70에서 q4_0 -> f32 경로의 처리량이 20.21 GB/s에서 158.19 GB/s로 증가했습니다.
다른 양자화 경로에서도 일관된 성능 향상이 나타났습니다.
CPU, CUDA, Vulkan, ROCm, OpenVINO 및 SYCL 백엔드를 통해 macOS, Linux, Windows, Android 및 openEuler용 바이너리가 제공됩니다.

이 변경은 SYCL 백엔스를 사용하는 Intel Arc GPU에서 데이터 전송 효율성을 크게 향상시켜 양자화된 연산의 주요 성능 병목 현상을 해결했습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

SpiralCoreAttention 프로토타입은 긴 시퀀스 QLoRA 파인튜닝을 위해 토큰 블록을 선택합니다

한 개발자가 오픈 가중치 LLM 파인튜닝을 위한 실험적 훈련 시간 컨텍스트 선택 프로토타입인 SpiralCoreAttention에 대한 피드백을 구하고 있습니다. 이 시스템은 매번 순전파 및 역전파 과정에서 전체 긴 시퀀스를 처리하는 대신, 시퀀스에서 특정 토큰 블록을 선택하여 훈련하고, 결과적으로 생성된 어댑터를 홀드아웃(full-context) 시퀀스 위에서 평가합니다.

media r/LocalLLaMA · 14시간 전 · 조회수 8회

NVIDIA, GB300 NVL72에서 GPU당 4K tok/s로 Qwen 3.8 2.4T 서빙

NVIDIA는 구성 가능한 추론 기능을 갖춘 Qwen 3.8 2.4T 파라미터 모델을 자체 GB300 NVL72 하드웨어 플랫폼에서 서빙하는 것을 시연했습니다.

github llama.cpp · 1일 전 · 조회수 9회

llama.cpp가 MXFP4 재패킹 및 채팅 템플릿과 함께 Kimi-K3 모델 지원을 추가함

llama.cpp 프로젝트는 Kimi-K3 텍스트 모델에 대한 지원을 추가했으며, 이전의 Kimi-Linear-48B에는 없었던 하이브리드 KDA(선형) + MLA(전체) 어텐션 아키텍처와 다섯 가지 특정 아키텍처 기능을 구현했습니다.

github llama.cpp · 2일 전 · 조회수 10회

llama.cpp b10447이 yield_to_queue 스레드 모델을 재설계

llama.cpp 프로젝트는 `yield_to_queue` 스레드 모델의 재설계를 포함한 빌드 b10447을 출시했습니다. 이 변경 사항에는 워커에서 `common_speculative_process`를 실행하고 워커-메인 스레드 디자인을 교체하는 작업이 포함됩니다.

github llama.cpp · 2일 전 · 조회수 9회

llama.cpp b10444이 MTP 어시스턴트 모델 지원을 추가하고 eagle3를 제거

llama.cpp 프로젝트는 `--models-dir` 플래그를 통해 멀티 토큰 예측(MTP) 어시스턴트 모델을 로드하는 지원을 도입한 버전 b10444을 출시했습니다. 이 업데이트에는 프리셋에서 MTP 모델에 대한 엄격한 접두사 확인이 포함되고 eagle3 드래프트 유형에 대한 지원이 제거되었습니다.