github llama.cpp · 1시간 전 · inference

llama.cpp b10159, Metal 백엔드를 위한 FWHT 커널 추가

번역 English → 한국어

llama.cpp 프로젝트는 Metal 백엔드를 위한 고속 월시-하드마드 변환 (FWHT) 커널을 도입한 빌드 b10159를 출시했습니다. 이 업데이트에는 진행 중인 구현 세부 사항과 함께 형태 가드 및 코드 서식 조정이 포함되어 있습니다.

ggml-metal에 Metal 백엔드를 위한 FWHT 커널 지원을 추가했습니다.
좁아짐 문제 수정 및 사소한 스타일 교정을 포함했습니다.
CPU, GPU (CUDA, Vulkan, ROCm, SYCL, OpenVINO) 및 Apple Silicon 아키텍처를 위해 macOS, iOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공했습니다.

이번 릴리스로 호환 플랫폼의 사용자가 새로운 Metal 커널을 사용할 수 있게 되었습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10158이 gpt-oss 모델에 eagle3-v3 지원을 추가합니다

llama.cpp 프로젝트는 gpt-oss 모델 내에서 eagle3-v3 아키텍처에 대한 지원을 도입한 빌드 b10158을 출시했습니다.

github llama.cpp · 5일 전 · 조회수 2회

llama.cpp b10098, Hexagon 활성화 연산 업데이트

llama.cpp 프로젝트는 Hexagon 활성화 연산에 대한 업데이트를 포함하는 버전 b10098을 출시했습니다. 이 릴리스는 macOS, Linux, Android, Windows 및 openEuler용 바이너리를 다양한 CPU 및 GPU 백엔드에서 제공합니다.

lab Hugging Face Blog · 5일 전 · 조회수 1회

Diffusers에 Nunchaku Lite 4비트 추론 네이티브 지원 추가

Hugging Face Diffusers는 이제 `from_pretrained()`를 통해 Nunchaku Lite 체크포인트를 네이티브로 로드할 수 있게 되어 별도의 추론 엔진이나 로컬 CUDA 컴파일이 필요하지 않게 되었습니다. 이 통합은 SVDQuant 방법을 사용하여 4비트 가중치와 활성화(W4A4)로 트랜스포머 레이어를 실행하며, 메모리 사용량을 크게 줄이는 동시에 추론 속도를 향상시킵니다.

github llama.cpp · 6일 전 · 조회수 1회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.

github llama.cpp · 6일 전

llama.cpp b10085 위치 임베딩 보간 정렬로 Qwen3-VL 그라운딩 수정

llama.cpp 프로젝트는 Qwen3-VL 비전 모델의 위치 임베딩 보간에 대한 수정을 포함하는 빌드 b10085를 출시하여 그라운딩 좌표 불일치를 해결했습니다.