github llama.cpp · 12시간 전 · inference

llama.cpp b11272, Hexagon 연결 연산 최적화

번역 English → 한국어

llama.cpp 프로젝트는 Hexagon 백엔드에 대한 최적화를 포함한 빌드 b11272을 출시했습니다. 주요 변경 사항은 Qualcomm Snapdragon 하드웨어에서 성능을 향상시키기 위해 연결 연산을 최적화하는 것입니다.

gather/transpose 핫 루프 내의 패킷 수를 줄이고 대상 버퍼에 직접 수집하며 gather 동기화를 위한 특수 명령어를 사용했습니다.
더 빠른 계산을 위해 소프트웨어 나눗셈 호출을 fastdiv로 대체했습니다.
DMA-HVX 파이프라인을 최적화하고 Hexagon 연결 연산용 전치 헬퍼를 추가했습니다.

이 업데이트는 macOS, Linux, Windows, Android 및 openEuler에 대한 다양한 CPU, GPU 및 NPU 백엔드용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b11284가 양자화된 가중치 뷰에서 OpenVINO GET_ROWS를 수정함

llama.cpp 프로젝트는 양자화된 가중치 뷰에 대한 GET_ROWS 연산을 올바르게 처리하기 위한 OpenVINO 백엔드 수정 사항을 포함한 빌드 b11284를 출시했습니다.

github llama.cpp · 9시간 전 · 조회수 2회

llama.cpp가 k-pool 및 MTP 수정과 함께 GLM-5.3-Flash 지원 추가

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

github llama.cpp · 1일 전 · 조회수 7회

llama.cpp b11260이 FP32 GELU_ERF 및 GEGLU_ERF 지원을 추가

llama.cpp 프로젝트는 Hexagon 백엔드에서 FP32 GELU_ERF 및 GEGLU_ERF 활성화 함수에 대한 지원을 도입하는 버전 b11260을 출시했습니다. 이 업데이트에는 관련 커널 내 레지스터 압력을 줄이는 최적화도 포함되어 있습니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b11258은 UI가 제공되지 않을 때 내장 UI service worker를 제거합니다

llama.cpp 프로젝트는 내장 웹 인터페이스의 service worker 동작에 대한 수정을 포함한 빌드 b11258을 출시했습니다. 이전에는 `--path` 또는 `--no-ui`와 같은 플래그를 사용하면 서버가 `/sw.js`에 대해 404를 반환했기 때문에 브라우저가 인터페이스의 캐시된 버전을 유지했습니다. 이는 service worker 제거를 트리거하지 않습니다.

media Hugging Face Forums · 2일 전 · 조회수 4회

Krea 2 LoRA Studio가 무료 Colab T4에서 학습을 가능하게 함

Jordan Epstein은 전체 Krea 2 LoRA 워크플로우를 무료 Google Colab T4 GPU에서 사용할 수 있도록 설계된 프로젝트인 Krea 2 LoRA Studio를 출시했습니다. 이 도구는 캐시 준비, 학습 및 미리보기 생성을 별도로 관리하는 단계별 워크플로우를 구현하여 메모리 제약 문제를 해결합니다.