github llama.cpp · 1시간 전 · inference

llama.cpp b10165이 Vulkan FA에 iq4_nl 및 q1_0 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 Flash Attention (FA) Vulkan 백엔드에 대한 iq4_nl 양자화 지원을 복원하는 빌드 b10165을 출시했습니다. 이 변경은 공유 메모리 사용량에 대한 우려가 무시할 수 있는 수준으로 간주된 후 기능을 다시 활성화하여 이슈 #23681을 해결합니다.

Vulkan FA 구현에 iq4_nl 지원을 다시 추가합니다.
non-coopmat2 구성에 q1_0 지원을 추가합니다.
q1_0 FA 지원 제거와 관련된 GitHub 이슈 #23681을 수정합니다.

이 릴리스는 CPU, CUDA, ROCm, OpenVINO, SYCL 및 Vulkan 백엔드를 위한 macOS, Linux, Windows 및 Android용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10164이 Mamba-2 프리필 가속을 위해 청크화된 SSD 행렬 곱을 추가합니다

llama.cpp 프로젝트는 Mamba-2 모델의 프리필 단계를 가속화하도록 설계된 새로운 청크화된 SSD 행렬 곱 구현을 도입한 버전 b10164을 출시했습니다.

github llama.cpp · 6시간 전 · 조회수 1회

llama.cpp b10159, Metal 백엔드를 위한 FWHT 커널 추가

llama.cpp 프로젝트는 Metal 백엔드를 위한 고속 월시-하드마드 변환 (FWHT) 커널을 도입한 빌드 b10159를 출시했습니다. 이 업데이트에는 진행 중인 구현 세부 사항과 함께 형태 가드 및 코드 서식 조정이 포함되어 있습니다.

github llama.cpp · 8시간 전 · 조회수 2회

llama.cpp b10158이 gpt-oss 모델에 eagle3-v3 지원을 추가합니다

llama.cpp 프로젝트는 gpt-oss 모델 내에서 eagle3-v3 아키텍처에 대한 지원을 도입한 빌드 b10158을 출시했습니다.

github llama.cpp · 5일 전 · 조회수 2회

llama.cpp b10098, Hexagon 활성화 연산 업데이트

llama.cpp 프로젝트는 Hexagon 활성화 연산에 대한 업데이트를 포함하는 버전 b10098을 출시했습니다. 이 릴리스는 macOS, Linux, Android, Windows 및 openEuler용 바이너리를 다양한 CPU 및 GPU 백엔드에서 제공합니다.

lab Hugging Face Blog · 5일 전 · 조회수 1회

Diffusers에 Nunchaku Lite 4비트 추론 네이티브 지원 추가

Hugging Face Diffusers는 이제 `from_pretrained()`를 통해 Nunchaku Lite 체크포인트를 네이티브로 로드할 수 있게 되어 별도의 추론 엔진이나 로컬 CUDA 컴파일이 필요하지 않게 되었습니다. 이 통합은 SVDQuant 방법을 사용하여 4비트 가중치와 활성화(W4A4)로 트랜스포머 레이어를 실행하며, 메모리 사용량을 크게 줄이는 동시에 추론 속도를 향상시킵니다.