github llama.cpp · 1시간 전 · inference

llama.cpp b10790, SM87용 MMVQ에서 MMQ로의 크로스오버 튜닝

번역 English → 한국어

llama.cpp 프로젝트는 SM87에 대한 MMVQ에서 MMQ로의 크로스오버에 대한 특정 튜닝을 포함하는 빌드 b10790을 출시했습니다.

이 업데이트는 여러 플랫폼과 하드웨어 구성 전반에 걸쳐 사전 빌드된 바이너리를 제공합니다. 사용 가능한 빌드에는 macOS Apple Silicon 및 Intel, CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL 지원을 갖춘 Linux(Ubuntu), 그리고 CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0 기능을 갖춘 Windows 빌드가 포함됩니다. 추가 릴리스에는 Android arm64, iOS XCFramework 및 openEuler x86/aarch64 아키텍처가 포함됩니다.

릴리스에는 모든 지원 운영 체제용 표준 llama.cpp UI 패키지도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

IFM이 4B의 활성 파라미터를 가진 희소 MoE 모델 K2-Horizon-MoVA-36B-A4B 출시

IFM은 Mixture-of-Values 어텐션을 특징으로 하며 36B의 파라미터를 저장하지만 토큰당 4B만 실행하는 Mixture-of-Experts 모델인 K2-Horizon-MoVA-36B-A4B의 최종 체크포인트를 출시했습니다. 이번 릴리스에는 GGUF 형식과 K2-Horizon 패밀리 내 더 작은 변형체에 대한 링크가 포함되어 있습니다.

github llama.cpp · 8시간 전 · 조회수 1회

llama.cpp가 Metal 프리필을 위한 스파스 플래시 어텐션 지원을 추가하다

llama.cpp 프로젝트는 모델 추론의 프리필 단계에 특화하여 Metal 백엔드를 위한 스파스 플래시 어텐션(FA) 지원을 도입했습니다. 이 업데이트에는 유한 마스크 엔트리를 행별 인덱스 목록으로 압축하는 새로운 커널과 선택적 스파스 인덱스 수집 기능을 갖춘 벡터 FA 커널 확장이 포함됩니다.

github llama.cpp · 9시간 전 · 조회수 2회

llama.cpp b10782 다중 GPU CUDA 그래프 최적화 수정

llama.cpp 프로젝트는 다중 GPU 설정에서 CUDA 백엔드에 대한 중요한 문제를 해결하는 빌드 b10782를 출시했습니다. 이 업데이트는 분할당 동시 스트림을 허용하고 여러 장치 간에 CUDA 그래프 최적화가 올바르게 실행되도록 합니다.

github llama.cpp · 11시간 전 · 조회수 1회

llama.cpp b10780, 피어-투-피어 복사 지원을 위해 SYCL API 향상

llama.cpp 프로젝트가 버전 b10780을 출시했으며, 여기에는 SYCL 백엔드에 대한 특정 개선 사항이 포함됩니다. 이 업데이트는 SYCL 장치에 대한 피어-투-피어 복사(peer-to-peer copy) 기능을 활성화하기 위해 API를 수정합니다.

github llama.cpp · 11시간 전 · 조회수 2회

llama.cpp b10781 Vulkan FA 디쿼턴 경로 활성화 수정

llama.cpp 프로젝트가 Vulkan 고속 어텐션(FA) 디쿼턴 경로에 대한 수정 사항을 포함한 빌드 b10781을 출시했습니다. 이 업데이트는 `ne[3] == 1`일 때도 `nb[3]`를 잘못 확인하여 캐시가 가득 찼을 때만 경로가 활성화되던 문제를 해결합니다.