github llama.cpp · 8 jam lalu · inference

llama.cpp b10653 menambahkan TENSOR_READ_LAZY untuk pemuatan model

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10653, memperkenalkan fitur TENSOR_READ_LAZY ke pemuat modelnya. Perubahan ini mencakup penambahan fungsi TENSOR_GET_ROW_LAZY dan flag baris perintah --tensor-read-lazy yang sesuai.

Menambahkan TENSOR_READ_LAZY dan TENSOR_GET_ROW_LAZY ke pemuat model.
Memperkenalkan opsi CLI --tensor-read-lazy untuk mengaktifkan pembacaan tensor lambat.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, dan iOS.

Rilis ini memperbarui pustaka inti dengan kemampuan pemuatan lambat baru sambil mendistribusikan biner pra-bangun di seluruh platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Qwen3.8-Flash-Next (qwen4exp), mengimplementasikan komponen spesifiknya termasuk hiper-koneksi, jaringan delta tergerbang, Campuran Ahli, dan embedding hash n-gram PLE.

github llama.cpp · 6 hari lalu · 11 tayangan

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2

Proyek llama.cpp merilis build b10568, yang memperbarui penanganan model untuk menggunakan fungsi `ggml_rope_set_offset()`. Perubahan ini sebagian diterapkan untuk mendukung DeepSeek 2.

github llama.cpp · 7 hari lalu · 17 tayangan

llama.cpp b10541 menambahkan argumen --mmproj-device untuk proyek multimodal

Proyek llama.cpp merilis build b10541, memperkenalkan argumen baris perintah `--mmproj-device` yang memungkinkan pengguna menentukan backend perangkat untuk memuat file proyeksi multimodal.

github llama.cpp · 7 hari lalu · 7 tayangan

llama.cpp b10532 menambahkan dekuantisasi KV Metal untuk Flash Attention

Proyek llama.cpp merilis versi b10532, memperkenalkan tahap pra-pemrosesan pada backend Metal yang mendekuantisasi cache Key-Value (KV) terkuantisasi ke F16 sebelum mengeksekusi Flash Attention.

github llama.cpp · 7 hari lalu · 13 tayangan

llama.cpp b10517 menambahkan optimasi dequantisasi FA untuk Vulkan dan perbaikan

Proyek llama.cpp merilis build b10517, memperkenalkan beberapa peningkatan khusus Vulkan pada jalur dequantisasi flash attention (FA). Perubahan utama termasuk melakukan dequantisasi q8_0 KV sekali di coopmat1, melewati jalur dequantisasi FA pada coopmat2, dan mengecualikan Intel Xe1 dari jalur dequantisasi FA.