github llama.cpp · 1시간 전 · inference

llama.cpp b10642가 KV 셀에 토큰 ID 추적 추가

번역 English → 한국어

llama.cpp 프로젝트는 키-값 (KV) 셀 내에서 토큰 ID를 추적하는 변경 사항을 도입한 빌드 b10642를 출시했습니다.

핵심 업데이트에는 KV 셀 구현에 토큰 ID 추적을 추가하는 것이 포함됩니다.
`get_prev_tokens` 함수는 이 특정 커밋에서 제거되어 주요 풀 리퀘스트 #27762로 이동되었습니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) 및 openEuler용 바이너리가 제공됩니다.

이 릴리스는 내부 KV 셀 수정과 함께 여러 플랫폼에서 업데이트된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10638이 Vulkan cross_entropy_loss를 추가하고 바이너리 출시

llama.cpp 프로젝트가 버전 b10638을 출시했으며, 이 버전은 `cross_entropy_loss` 및 `cross_entropy_loss_back` 함수에 대한 Vulkan 지원을 구현했습니다.

github llama.cpp · 6시간 전 · 조회수 2회

llama.cpp b10639, Vulkan warptile 워프 크기 가정 수정

llama.cpp 프로젝트는 빌드 b10639를 출시했으며, 여기에는 이전에 워프타일이 워프 크기가 64 이하라고 가정했던 Vulkan 백엔드에 대한 수정이 포함되어 있습니다. 이 변경은 더 큰 워프로 인한 문제를 우회하기 위해 워프 크기를 제한합니다.

media Hugging Face Forums · 6시간 전 · 조회수 1회

Celestium Neon이 VRAM을 정리하여 4GB GPU에서 SDXL OOM을 수정합니다

Celestium Neon은 GTX 1650처럼 메모리가 4GB에 불과한 그래픽 카드에서 Stable Diffusion XL (SDXL) 추론을 가능하게 하고 VRAM을 정리하도록 설계된 새로운 도구입니다.

github llama.cpp · 10시간 전 · 조회수 2회

llama.cpp b10636, 기본값으로 npm UI 빌드 비활성화 및 CI 정리

llama.cpp 프로젝트는 웹 인터페이스 빌드 시 기본 동작을 변경하는 버전 b10636을 출시했습니다. npm 기반 UI 빌드는 이제 기본값으로 비활성화되었으며(LLAMA_BUILD_UI=OFF), 대신 로컬 소스 또는 사전 빌드 다운로드에서 UI가 임베딩됩니다.

github llama.cpp · 11시간 전 · 조회수 1회

llama.cpp b10635이 sm_60에서 MoE에 대한 mmq를 차단 해제

llama.cpp 프로젝트는 CUDA 지원에 대한 특정 업데이트를 포함하는 버전 b10635를 출시했습니다. 주요 변경 사항은 계산 능력 6.0 (sm_60) GPU에서 Mixture of Experts (MoE) 아키텍처에 대한 혼합 정밀도 행렬 곱셈(mmq)의 차트를 해제하는 것입니다.