github llama.cpp · 2시간 전 · inference

llama.cpp b10107, Windows 충돌 수정 및 여러 플랫폼용 바이너리 제공

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10107을 출시했으며, 여기에는 op_poll 기능이 활성화되었을 때 발생하는 Windows 충돌 수정이 포함되어 있습니다.

op_poll이 활성화된 경우 Windows에서의 충돌 해결 (PR #26029).
macOS (Apple Silicon 및 Intel), Linux (Ubuntu x64, arm64, s390x with CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler에 대한 사전 빌드된 바이너리 제공.
이번 릴리스에서 macOS Apple Silicon에 대한 KleidiAI 지원을 비활성화했습니다.

이 업데이트는 op_poll을 사용하는 Windows 시스템의 안정성을 보장하면서 주요 운영 체제 및 가속기 전반에 걸친 포괄적인 하드웨어 지원을 계속 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10105이 mlock/mmap/directio를 단일 로드 모드 인수로 리팩터링

llama.cpp 프로젝트는 개별 메모리 관리 플래그를 통합된 `load-mode` 인수로 통합하여 명령줄 인터페이스의 상당한 리팩터링을 도입하는 빌드 b10105을 출시했습니다.

github llama.cpp · 17시간 전

llama.cpp b10099, CUDA에서 NVFP4 W4A4 양자화 개선

llama.cpp 프로젝트는 NVFP4 W4A4 활성화 양자화를 개선하기 위해 CUDA 백엔드에 상당한 업데이트를 포함한 버전 b10099를 출시했습니다.

github llama.cpp · 19시간 전

llama.cpp b10098, Hexagon 활성화 연산 업데이트

llama.cpp 프로젝트는 Hexagon 활성화 연산에 대한 업데이트를 포함하는 버전 b10098을 출시했습니다. 이 릴리스는 macOS, Linux, Android, Windows 및 openEuler용 바이너리를 다양한 CPU 및 GPU 백엔드에서 제공합니다.

media Together AI Blog · 21시간 전

Together, 커스텀 트레이닝 베타와 함께 전용 모델 추론 출시

Together는 오픈 가중치 모델에 대한 성능, 비용 및 품질에 대한 완전한 제어권을 사용자에게 제공하도록 설계된 "전용 모델 추론"을 도입하여 추론 플랫폼에 상당한 업데이트를 출시했습니다. 이 업데이트에는 풀 가중치와 LoRA 강화 학습을 포함한 커스텀 트레이닝 기능의 클로즈드 베타도 발표되었습니다.

github llama.cpp · 22시간 전 · 조회수 1회

llama.cpp b10094는 초안 저장소 사이드카에서 추론 유형을 추론합니다

llama.cpp 프로젝트가 버전 b10094를 출시하여, 초안 저장소 사이드카에서 스펜크티브 디코딩 유형을 자동으로 감지하는 기능을 도입했습니다. 이전에는 `-hfd` 플래그를 사용하여 mtp-, dflash-, 또는 eagle3- 사이드카를 포함하는 저장소를 가리키지만 `--spec-type`을 명시적으로 제공하지 않으면, 시스템이 초안을 전체 모델로 잘못 해석했습니다.