github llama.cpp · 6시간 전 · inference

llama.cpp b11284가 양자화된 가중치 뷰에서 OpenVINO GET_ROWS를 수정함

번역 English → 한국어

llama.cpp 프로젝트는 양자화된 가중치 뷰에 대한 GET_ROWS 연산을 올바르게 처리하기 위한 OpenVINO 백엔드 수정 사항을 포함한 빌드 b11284를 출시했습니다.

업데이트는 가중치 상수를 수집할 때 view_src를 해결하여, 양자화된 가중치에 대한 뷰가 동적으로 타입 지정된 파라미터로 변하는 것을 방지합니다.
뷰의 행 오프셋은 이제 디쿼터라이제이션 서브그래프를 슬라이싱하는 대신 수집 인덱스에 폴딩됩니다.
이 변경으로 nonzero 오프셋이 있는 양자화된 src0 뷰의 거부 사항이 제거되어 OpenVINO와 함께 작동할 수 있게 되었습니다.

이번 릴리스는 CPU, GPU(CUDA, Vulkan, ROCm, SYCL), NPU 백엔드를 위한 macOS, Linux, Windows, Android, openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp가 k-pool 및 MTP 수정과 함께 GLM-5.3-Flash 지원 추가

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

github llama.cpp · 12시간 전 · 조회수 2회

llama.cpp b11272, Hexagon 연결 연산 최적화

llama.cpp 프로젝트는 Hexagon 백엔드에 대한 최적화를 포함한 빌드 b11272을 출시했습니다. 주요 변경 사항은 Qualcomm Snapdragon 하드웨어에서 성능을 향상시키기 위해 연결 연산을 최적화하는 것입니다.

github llama.cpp · 1일 전 · 조회수 7회

llama.cpp b11260이 FP32 GELU_ERF 및 GEGLU_ERF 지원을 추가

llama.cpp 프로젝트는 Hexagon 백엔드에서 FP32 GELU_ERF 및 GEGLU_ERF 활성화 함수에 대한 지원을 도입하는 버전 b11260을 출시했습니다. 이 업데이트에는 관련 커널 내 레지스터 압력을 줄이는 최적화도 포함되어 있습니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b11258은 UI가 제공되지 않을 때 내장 UI service worker를 제거합니다

llama.cpp 프로젝트는 내장 웹 인터페이스의 service worker 동작에 대한 수정을 포함한 빌드 b11258을 출시했습니다. 이전에는 `--path` 또는 `--no-ui`와 같은 플래그를 사용하면 서버가 `/sw.js`에 대해 404를 반환했기 때문에 브라우저가 인터페이스의 캐시된 버전을 유지했습니다. 이는 service worker 제거를 트리거하지 않습니다.

media Hugging Face Forums · 2일 전 · 조회수 4회

Krea 2 LoRA Studio가 무료 Colab T4에서 학습을 가능하게 함

Jordan Epstein은 전체 Krea 2 LoRA 워크플로우를 무료 Google Colab T4 GPU에서 사용할 수 있도록 설계된 프로젝트인 Krea 2 LoRA Studio를 출시했습니다. 이 도구는 캐시 준비, 학습 및 미리보기 생성을 별도로 관리하는 단계별 워크플로우를 구현하여 메모리 제약 문제를 해결합니다.