github llama.cpp · 1 jam lalu · inference

llama.cpp b10472 melewatkan override UMA untuk build HIP

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10472, yang mencakup perbaikan untuk melewati penggantian Arsitektur Memori Terpadu (UMA) untuk build HIP. Perubahan ini mengatasi masalah di mana Unit Pemrosesan Dipercepat (APU) AMD melaporkan informasi memori yang tidak akurat melalui hipMemGetInfo.

Pembaruan ini menyelesaikan masalah GitHub #18159 dengan mencegah MemAvailable berjanji terlalu banyak pada sistem dengan carveout kecil.
Build macOS Apple Silicon dengan KleidiAI dinonaktifkan dalam rilis ini.
Dukungan Ubuntu ROCm 7.14 juga dinonaktifkan.
Binari disediakan untuk Linux, Windows, Android, dan macOS melalui CPU, CUDA, Vulkan, OpenVINO, SYCL, dan backend lainnya.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Prototipe SpiralCoreAttention memilih blok token untuk penyetelan halus QLoRA pada urutan panjang

Seorang pengembang meminta umpan balik mengenai SpiralCoreAttention, sebuah prototipe pemilihan konteks selama pelatihan yang bersifat eksperimental untuk penyetelan halus LLM bobot terbuka. Alih-alih memproses seluruh urutan panjang dalam setiap langkah maju dan mundur, sistem memilih blok token tertentu dari urutan tersebut untuk dilatih, sambil mengevaluasi adapter yang dihasilkan pada urutan konteks penuh yang diisolasi.

github llama.cpp · 11 jam lalu · 7 tayangan

llama.cpp b10456 memperbaiki jumlah thread SYCL untuk peningkatan throughput 7x pada Arc 70

Proyek llama.cpp merilis versi b10456, yang mencakup perbaikan kritis untuk backend SYCL dalam peluncuran kernel salinan terkuantisasi. Pembaruan ini menyesuaikan jumlah thread dan blok agar sebanding dengan ukuran kuantisasi, secara efektif mengurangi masalah under- dan over-subscription.

media r/LocalLLaMA · 1 hari lalu · 10 tayangan

Prototipe SpiralCoreAttention memilih blok token untuk penyetelan halus QLoRA pada urutan panjang

llama.cpp b10456 memperbaiki jumlah thread SYCL untuk peningkatan throughput 7x pada Arc 70

NVIDIA melayani Qwen 3.8 2.4T di GB300 NVL72 pada 4K tok/s per GPU

llama.cpp menambahkan dukungan model Kimi-K3 dengan repacking MXFP4 dan template obrolan

llama.cpp b10447 mendesain ulang model utas yield_to_queue