github llama.cpp · 1 jam lalu · inference

llama.cpp menambahkan penyetelan fa-vec untuk Apple M3 Max, M5, dan M5 Pro

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah menambahkan catatan penyetelan vektor perhatian cepat (fa-vec) untuk GPU Apple M3 Max, M5, dan M5 Pro guna meningkatkan kinerja Metal.

Penyetelan untuk Apple M5 dihasilkan pada mesin M5 menggunakan tipe data f16 dan q8_0.
Catatan untuk Apple M5 Pro mencakup format F16, Q4_0, dan Q8_0 di seluruh 20 inti GPU.
Dukungan untuk M3 Max mencakup konfigurasi F16 dan Q8_0 pada MacBook Pro dengan 64GB dalam mode daya rendah.

Pembaruan ini memperluas kemampuan akselerasi Metal ke arsitektur Apple silicon yang lebih baru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10665 menambahkan dukungan DSpark untuk Nemotron3.5

Proyek llama.cpp merilis build b10665, yang memperkenalkan dukungan DSpark untuk model Nemotron3.5.

github llama.cpp · 17 jam lalu · 7 tayangan

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Qwen3.8-Flash-Next (qwen4exp), mengimplementasikan komponen spesifiknya termasuk hiper-koneksi, jaringan delta tergerbang, Campuran Ahli, dan embedding hash n-gram PLE.

github llama.cpp · 1 hari lalu · 8 tayangan

llama.cpp b10653 menambahkan TENSOR_READ_LAZY untuk pemuatan model

Proyek llama.cpp telah merilis build b10653, memperkenalkan fitur TENSOR_READ_LAZY ke pemuat modelnya. Perubahan ini mencakup penambahan fungsi TENSOR_GET_ROW_LAZY dan flag baris perintah --tensor-read-lazy yang sesuai.

github llama.cpp · 1 hari lalu · 7 tayangan

llama.cpp b10655 menambahkan dukungan LIGHTNING_INDEXER untuk operasi Deepseek V4 di Vulkan

Proyek llama.cpp merilis build b10655, yang memperkenalkan dukungan untuk operasi LIGHTNING_INDEXER di dalam backend Vulkan untuk mengaktifkan operasi Deepseek V4.

github llama.cpp · 2 hari lalu · 6 tayangan

llama.cpp b10639 memperbaiki asumsi ukuran warptile Vulkan

Proyek llama.cpp merilis build b10639, yang mencakup perbaikan untuk backend Vulkan di mana warptiles sebelumnya mengasumsikan ukuran warp kurang dari atau sama dengan 64. Perubahan ini membatasi ukuran warp untuk mengatasi masalah dengan warp yang lebih besar.