github llama.cpp · 1 jam lalu · inference

llama.cpp b10416 memperbaiki cache UI usang di llama.app

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10416, mengatasi masalah caching di situs web llama.app di mana file index.html terpasang ke build lama karena header yang tidak dapat diubah.

Server sekarang menyajikan index.html tanpa cache, memungkinkannya untuk divalidasi ulang melalui ETag dan mencegah versi UI usang.
Build macOS Apple Silicon (arm64) tersedia untuk diunduh.
Binari macOS Intel (x64) disertakan dalam rilis.
iOS XCFramework disediakan untuk integrasi seluler.
Build CPU Ubuntu x64, arm64, dan s390x telah dirilis.
Varian Ubuntu Vulkan dan OpenVINO tersedia untuk Linux.
Build Windows x64 dan arm64 mendukung CPU, CUDA 12/13, OpenCL, Vulkan, ROCm 7.14, dan SYCL.
Binari Android arm64 (CPU) disertakan.
Build openEuler x86 dan aarch64 dengan dukungan ACL Graph terdaftar.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10418 menambahkan dukungan memori host tetap untuk SYCL

Proyek llama.cpp merilis versi b10418, memperkenalkan dukungan memori host tetap untuk meningkatkan akses memori Host-ke-Perangkat pada SYCL. Pembaruan ini mengatasi masalah keamanan utas dalam implementasi backend.

github llama.cpp · baru saja Langsung

Backend OpenVINO llama.cpp menambahkan dukungan Qwen3.5 dan optimasi memori

Proyek llama.cpp telah menggabungkan pembaruan signifikan pada backend OpenVINO-nya, terutama mengaktifkan dukungan untuk keluarga model Qwen3.5 dan memperkenalkan beberapa teknik optimasi memori.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10413 menambahkan deteksi otomatis tipe spesifikasi draf dari metadata GGUF

Proyek llama.cpp merilis versi b10413, yang memperkenalkan deteksi otomatis tipe spesifikasi decoding spekulatif langsung dari metadata model GGUF draf.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10414 menambahkan dukungan TQ2_0 dan mengoptimalkan kernel mul_mv

Proyek llama.cpp merilis build b10414, memperkenalkan dukungan untuk jenis kuantisasi ternary GGML_TYPE_TQ2_0 di backend Metal. Pembaruan ini juga mencakup optimasi pada kernel mul_mv tensor kontigu (cont).

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp b10412 mengaktifkan sampling backend untuk dflash dan dspark

Proyek llama.cpp telah merilis versi b10412, yang memperkenalkan dukungan sampling backend untuk backend dflash dan dspark. Pembaruan ini juga memungkinkan nilai p_min lebih besar dari 0 dalam logika sampling backend dan menambahkan perlindungan yang sesuai.