github llama.cpp · 방금 · inference

llama.cpp b10158이 gpt-oss 모델에 eagle3-v3 지원을 추가합니다

번역 English → 한국어

llama.cpp 프로젝트는 gpt-oss 모델 내에서 eagle3-v3 아키텍처에 대한 지원을 도입한 빌드 b10158을 출시했습니다.

이 업데이트는 여러 플랫폼과 하드웨어 구성에서 사용할 수 있습니다. 다운로드에는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu용 CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL 백엔드), Windows(CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), Android 및 openEuler용 바이너리가 포함되어 있습니다.

이 릴리스는 메인 애플리케이션과 해당 UI에 대한 사전 빌드된 바이너리를 제공하여 사용자가 소스에서 컴파일하지 않고도 다양한 시스템에서 업데이트된 모델을 실행할 수 있도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 5일 전 · 조회수 2회

llama.cpp b10098, Hexagon 활성화 연산 업데이트

llama.cpp 프로젝트는 Hexagon 활성화 연산에 대한 업데이트를 포함하는 버전 b10098을 출시했습니다. 이 릴리스는 macOS, Linux, Android, Windows 및 openEuler용 바이너리를 다양한 CPU 및 GPU 백엔드에서 제공합니다.

lab Hugging Face Blog · 5일 전 · 조회수 1회

Diffusers에 Nunchaku Lite 4비트 추론 네이티브 지원 추가

Hugging Face Diffusers는 이제 `from_pretrained()`를 통해 Nunchaku Lite 체크포인트를 네이티브로 로드할 수 있게 되어 별도의 추론 엔진이나 로컬 CUDA 컴파일이 필요하지 않게 되었습니다. 이 통합은 SVDQuant 방법을 사용하여 4비트 가중치와 활성화(W4A4)로 트랜스포머 레이어를 실행하며, 메모리 사용량을 크게 줄이는 동시에 추론 속도를 향상시킵니다.

github llama.cpp · 6일 전 · 조회수 1회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.

github llama.cpp · 6일 전

llama.cpp b10085 위치 임베딩 보간 정렬로 Qwen3-VL 그라운딩 수정

llama.cpp 프로젝트는 Qwen3-VL 비전 모델의 위치 임베딩 보간에 대한 수정을 포함하는 빌드 b10085를 출시하여 그라운딩 좌표 불일치를 해결했습니다.

github llama.cpp · 8일 전 · 조회수 2회

llama.cpp b10069이 Adreno MUL_MAT에 대한 OpenCL 브로드캐스트 지원을 추가함

llama.cpp 프로젝트는 Qualcomm Adreno GPU에 대한 특정 OpenCL 업데이트를 포함한 빌드 b10069을 출시했습니다. 주요 변경 사항에는 Adreno MUL_MAT 커널에 대한 브로드캐스트 작업 지원과 llama-server에서 멀티스트림 기능을 활성화하기 위해 Q8_0 MUL_MAT 변형의 뷰 오프셋을 준수하는 것이 포함됩니다.