github llama.cpp · 2시간 전 · inference

llama.cpp b10338가 MoE 모델 저장/로드 순환 실패 수정

번역 English → 한국어

llama.cpp b10338 릴리스는 공유 전문가 혼합 전문가(MoE) 모델을 저장한 후 로드하는 데 실패하게 만든 모델 저장소의 치명적인 버그를 해결했습니다. 이 문제는 저장소가 `n_ff_chexp` 값을 `LLM_KV_EXPERT_SHARED_FEED_FORWARD_LENGTH` 키에 잘못 작성하여 올바른 텐서 모양 정보를 덮어썼기 때문에 발생했습니다.

수정 사항으로 두 번째 호출이 공유 피드포워드 길이를 덮어쓰는 대신 올바른 `LLM_KV_EXPERT_CHUNK_FEED_FORWARD_LENGTH` 키를 작성하도록 보장합니다.
이는 qwen2moe, qwen3-next, granite-moe, hunyuan-moe, ernie4.5, bailingmoe2, nemotron-h를 포함한 공유 전문가가 있는 아키텍처의 로드 실패를 해결합니다.
이 릴리스에는 macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), openEuler용 바이너리가 포함되어 있습니다.

이 수정 사항으로 공유 전문가가 있는 MoE 모델의 저장 및 로드 순환이 텐서 모양 불일치 없이 성공하도록 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

관련 기사

github llama.cpp · 1시간 전 실시간

llama.cpp가 토큰별 LoRA 선택을 위한 그래프 내 라우터와 함께 Granite-Switch 아키텍처를 추가합니다

llama.cpp 프로젝트는 제어 토큰을 통해 토큰별로 선택되는 N개의 내장 LoRA 어댑터를 특징으로 하는 밀집 모델 변형인 Granite-Switch 아키텍처에 대한 지원을 도입했습니다. 이 구현은 어댑터 인덱스를 해결하기 위해 이전의 개념 증명용 전역 고정 인덱스를 그래프 내 인과적 "라우터" 주의 메커니즘으로 대체합니다.

lab Hugging Face Blog · 3시간 전 · 조회수 2회

멀티버스 컴퓨팅이 융합 청크형 KL 손실로 지식 증류 VRAM을 절감

멀티버스 컴퓨팅은 오프라인 top-K 로짓 캐싱과 융합 청크형 켈러백-라이블러(KL) 발산 손실을 결합하여 대규모 언어 모델 지식 증류를 위한 메모리 효율적인 접근 방식을 소개합니다. 이 방법은 교사와 학생 모델을 동시에 메모리에 유지할 필요성을 제거하여 VRAM 요구 사항을 대폭 줄입니다.

github llama.cpp · 5시간 전

ggml-webgpu 리팩토링이 포함된 llama.cpp b10336 릴리스

llama.cpp 프로젝트는 여러 wgsl 파일의 리팩토링과 ggml-webgpu 구성 요소 내 flash_attn wgsl 의 단순화를 포함하는 버전 b10336 을 출시했습니다.

media Hugging Face Forums · 1일 전 · 조회수 8회

vLLM Launcher가 로컬 LLM 추론을 위한 Windows 데스크톱 작업대 제공

WSL2를 통해 로컬 대규모 언어 모델 추론을 관리하도록 설계된 vLLM Launcher라는 새로운 프로젝트가 Windows 데스크톱 애플리케이션으로 출시되었습니다. 이 도구를 사용하면 단일 그래픽 인터페이스에서 vLLM, SGLang 및 llama.cpp를 포함한 여러 엔진 백엔드를 제어할 수 있습니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b10331이 서버의 get_info를 수정하여 격리된 작업 디렉토리를 올바르게 보고

llama.cpp 프로젝트는 서버의 `get_info` 엔드포인트에 대한 수정을 포함한 빌드 b10331을 출시했습니다. 이전에 명시적인 현재 작업 디렉토리가 제공되지 않은 경우, tools runtime이 구성되어 있더라도 함수가 서버 프로세스의 작업 디렉토리로 잘못 폴백되었습니다.