github llama.cpp · 방금 · inference

llama.cpp b10795, SYCL 연산 융합

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10795를 출시했으며, 여기에는 SYCL 백엔드를 위한 새로운 최적화가 포함되어 있습니다. 이 업데이트는 GGML_SYCL_ENABLE_FUSION 플래그 하에서 RMS_NORM+MUL+ADD 및 ADD+ADD 잔여 체인의 융합을 활성화합니다.

융합된 ADD+ADD 연산은 독립적인 add() 함수와 동일한 브로드캐스트 인덱싱 및 타입 행렬을 재사용하며, f32, f16, i32, i16, bf16 및 비연속 데이터를 지원합니다.
융합 로직에서 지원되지 않는 조합은 호환성을 유지하기 위해 두 개의 별도 add() 실행으로 폴백됩니다.

이 릴리스는 CUDA, ROCm, Vulkan, OpenVINO을 포함한 다양한 하드웨어 가속기용 macOS, Linux, Windows, Android, openEuler 이진 파일을 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10791이 OpenCL 양자화된 lm_head 및 디코딩 GEMV 최적화를 추가함

llama.cpp 프로젝트가 버전 b10791을 출시하여 양자화된 언어 모델 헤드와 디코딩 GEMV 연산에 대한 상당한 OpenCL 최적화를 도입했습니다. 이 업데이트에는 추론 디코딩과 멀티 토큰 예측에 관련된 미디엄 배치 GEMM 개선 사항도 포함되어 있습니다.

media r/LocalLLaMA · 14시간 전 · 조회수 3회

IFM이 4B의 활성 파라미터를 가진 희소 MoE 모델 K2-Horizon-MoVA-36B-A4B 출시

IFM은 Mixture-of-Values 어텐션을 특징으로 하며 36B의 파라미터를 저장하지만 토큰당 4B만 실행하는 Mixture-of-Experts 모델인 K2-Horizon-MoVA-36B-A4B의 최종 체크포인트를 출시했습니다. 이번 릴리스에는 GGUF 형식과 K2-Horizon 패밀리 내 더 작은 변형체에 대한 링크가 포함되어 있습니다.

github llama.cpp · 16시간 전 · 조회수 3회

llama.cpp가 Metal 프리필을 위한 스파스 플래시 어텐션 지원을 추가하다

llama.cpp 프로젝트는 모델 추론의 프리필 단계에 특화하여 Metal 백엔드를 위한 스파스 플래시 어텐션(FA) 지원을 도입했습니다. 이 업데이트에는 유한 마스크 엔트리를 행별 인덱스 목록으로 압축하는 새로운 커널과 선택적 스파스 인덱스 수집 기능을 갖춘 벡터 FA 커널 확장이 포함됩니다.

github llama.cpp · 19시간 전 · 조회수 1회

llama.cpp b10780, 피어-투-피어 복사 지원을 위해 SYCL API 향상

llama.cpp 프로젝트가 버전 b10780을 출시했으며, 여기에는 SYCL 백엔드에 대한 특정 개선 사항이 포함됩니다. 이 업데이트는 SYCL 장치에 대한 피어-투-피어 복사(peer-to-peer copy) 기능을 활성화하기 위해 API를 수정합니다.

github llama.cpp · 19시간 전 · 조회수 2회

llama.cpp, NVIDIA Nemotron-3-Puzzle-75B-A9B 지원 추가

llama.cpp가 NVIDIA Nemotron-3-Puzzle-75B-A9B 모델에 대한 지원을 도입하여 이 Mixture of Experts 아키텍처의 추론을 가능하게 합니다. 이번 업데이트는 모델이 서로 다른 n_ff_exp 및 top-k 값을 가진 40개의 MoE 레이어를 가지고 있기 때문에 필요한 가변 레이어별 전문가 피드포워드 크기 및 top-k 라우팅을 위한 인프라를 구현합니다.