github llama.cpp · 1 jam lalu · inference

Rilis llama.cpp b10312 dengan perbaikan server untuk model sibuk

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10312, yang mencakup pembaruan spesifik pada komponen server. Perubahan utama mengatasi masalah di mana model sibuk dikeluarkan dari router.

Server: Mencegah pengeluaran model sibuk (PR #26567).
macOS/iOS: Menyediakan biner untuk Apple Silicon (arm64) dan Intel (x64), serta iOS XCFramework. Dukungan KleidiAI pada macOS dinonaktifkan.
Linux: Menawarkan build untuk Ubuntu x64, arm64, dan CPU s390x, serta varian Vulkan, ROCm 7.2, OpenVINO, SYCL FP32, dan SYCL FP16.
Android: Termasuk build CPU arm64.
Windows: Mendukung CPU x64 dan arm64, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan HIP.
openEuler: Build untuk x86 (310p, 910b ACL Graph) dan aarch64 (310p, 910b ACL Graph) tersedia, sementara pull request standar dinonaktifkan.

Rilis ini memastikan ketersediaan berkelanjutan model aktif dalam penempatan server dan menyediakan biner komprehensif di berbagai sistem operasi utama serta akselerator perangkat keras.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10313 menambahkan penjadwal LRU ke server

Proyek llama.cpp telah merilis versi b10313, yang memperkenalkan penjadwal Least Recently Used (LRU) untuk komponen servernya. Pembaruan ini mencakup penanganan penggabungan permintaan dan perbaikan untuk kasus streaming.

github llama.cpp · 4 jam lalu

llama.cpp b10307 memperbaiki parsing NVFP4 SYCL

Proyek llama.cpp merilis versi b10307, yang mencakup perbaikan untuk kode GPU SYCL agar dapat memarsing faktor skala UE4M3 yang digunakan dalam kuantisasi NVFP4 dengan benar.

github llama.cpp · 19 jam lalu

llama.cpp b10298 menambahkan fungsi simpan/muat chunk untuk modul mtmd

Proyek llama.cpp telah merilis build b10298, yang memperkenalkan fungsi simpan dan muat chunk baru untuk modul mtmd. Pembaruan ini juga mencakup pembersihan kode dan pengujian tambahan.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10282 menambahkan penghitung spec-decode ke endpoint /metrics

Proyek llama.cpp telah merilis versi b10282, yang memperkenalkan kemampuan pemantauan baru untuk decoding spekulatif. Server sekarang menyertakan penghitung spec-decode di endpoint /metrics-nya, memungkinkan pengguna melacak metrik kinerja terkait fitur ini.

github llama.cpp · 3 hari lalu

llama.cpp b10259 memungkinkan reshaping tensor selama pemuatan

Proyek llama.cpp telah merilis build b10259, yang memperkenalkan kemampuan untuk memungkinkan reshaping tensor selama proses pemuatan.