github llama.cpp · 방금 · inference

llama.cpp b10792가 빈 객체 스키마에 대한 GBNF 문법 생성을 수정함

번역 English → 한국어

llama.cpp 프로젝트는 빈 객체 스키마 문제를 특별히 해결하는 GBNF 문법 생성 수정 사항을 포함한 빌드 b10792를 출시했습니다.

이 릴리스는 CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL 및 OpenCL을 비롯한 다양한 하드웨어 백엔드에 대해 macOS(Apple Silicon 및 Intel), iOS, Linux(Ubuntu x64, arm64, s390x), Android, Windows 및 openEuler용 바이너리 및 프레임워크를 제공합니다.

이 업데이트는 GBNF에서 빈 객체 스키마에 대한 올바른 문법 생성을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10791이 OpenCL 양자화된 lm_head 및 디코딩 GEMV 최적화를 추가함

llama.cpp 프로젝트가 버전 b10791을 출시하여 양자화된 언어 모델 헤드와 디코딩 GEMV 연산에 대한 상당한 OpenCL 최적화를 도입했습니다. 이 업데이트에는 추론 디코딩과 멀티 토큰 예측에 관련된 미디엄 배치 GEMM 개선 사항도 포함되어 있습니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10790, SM87용 MMVQ에서 MMQ로의 크로스오버 튜닝

llama.cpp 프로젝트는 SM87에 대한 MMVQ에서 MMQ로의 크로스오버에 대한 특정 튜닝을 포함하는 빌드 b10790을 출시했습니다.

media r/LocalLLaMA · 7시간 전 · 조회수 1회

IFM이 4B의 활성 파라미터를 가진 희소 MoE 모델 K2-Horizon-MoVA-36B-A4B 출시

IFM은 Mixture-of-Values 어텐션을 특징으로 하며 36B의 파라미터를 저장하지만 토큰당 4B만 실행하는 Mixture-of-Experts 모델인 K2-Horizon-MoVA-36B-A4B의 최종 체크포인트를 출시했습니다. 이번 릴리스에는 GGUF 형식과 K2-Horizon 패밀리 내 더 작은 변형체에 대한 링크가 포함되어 있습니다.

github llama.cpp · 9시간 전 · 조회수 2회

llama.cpp가 Metal 프리필을 위한 스파스 플래시 어텐션 지원을 추가하다

llama.cpp 프로젝트는 모델 추론의 프리필 단계에 특화하여 Metal 백엔드를 위한 스파스 플래시 어텐션(FA) 지원을 도입했습니다. 이 업데이트에는 유한 마스크 엔트리를 행별 인덱스 목록으로 압축하는 새로운 커널과 선택적 스파스 인덱스 수집 기능을 갖춘 벡터 FA 커널 확장이 포함됩니다.

github llama.cpp · 10시간 전 · 조회수 2회

llama.cpp b10782 다중 GPU CUDA 그래프 최적화 수정

llama.cpp 프로젝트는 다중 GPU 설정에서 CUDA 백엔드에 대한 중요한 문제를 해결하는 빌드 b10782를 출시했습니다. 이 업데이트는 분할당 동시 스트림을 허용하고 여러 장치 간에 CUDA 그래프 최적화가 올바르게 실행되도록 합니다.