github llama.cpp · 1 jam lalu · inference

llama.cpp b10456 memperbaiki jumlah thread SYCL untuk peningkatan throughput 7x pada Arc 70

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10456, yang mencakup perbaikan kritis untuk backend SYCL dalam peluncuran kernel salinan terkuantisasi. Pembaruan ini menyesuaikan jumlah thread dan blok agar sebanding dengan ukuran kuantisasi, secara efektif mengurangi masalah under- dan over-subscription.

Memperbaiki jumlah thread/blok dalam peluncuran kernel cpy terkuantisasi (PR #27160).
Throughput untuk jalur q4_0 -> f32 pada Arc 70 meningkat dari 20.21 GB/s menjadi 158.19 GB/s.
Jalur kuantisasi lainnya menunjukkan peningkatan kinerja yang stabil.
Binari tersedia untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend CPU, CUDA, Vulkan, ROCm, OpenVINO, dan SYCL.

Perubahan ini secara signifikan meningkatkan efisiensi transfer data pada GPU Intel Arc menggunakan backend SYCL, mengatasi hambatan kinerja utama dalam operasi terkuantisasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Prototipe SpiralCoreAttention memilih blok token untuk penyetelan halus QLoRA pada urutan panjang

Seorang pengembang meminta umpan balik mengenai SpiralCoreAttention, sebuah prototipe pemilihan konteks selama pelatihan yang bersifat eksperimental untuk penyetelan halus LLM bobot terbuka. Alih-alih memproses seluruh urutan panjang dalam setiap langkah maju dan mundur, sistem memilih blok token tertentu dari urutan tersebut untuk dilatih, sambil mengevaluasi adapter yang dihasilkan pada urutan konteks penuh yang diisolasi.

media r/LocalLLaMA · 14 jam lalu · 8 tayangan

NVIDIA melayani Qwen 3.8 2.4T di GB300 NVL72 pada 4K tok/s per GPU

NVIDIA telah mendemonstrasikan layanan model parameter Qwen 3.8 2.4T dengan kemampuan penalaran yang dapat dikonfigurasi pada platform perangkat keras GB300 NVL72-nya.

github llama.cpp · 1 hari lalu · 9 tayangan

llama.cpp menambahkan dukungan model Kimi-K3 dengan repacking MXFP4 dan template obrolan

Proyek llama.cpp telah menambahkan dukungan untuk model teks Kimi-K3, mengimplementasikan arsitektur perhatian hibrida KDA (linear) + MLA (penuh) bersama dengan lima fitur arsitektur spesifik yang tidak ada pada Kimi-Linear-48B yang lebih lama.

github llama.cpp · 2 hari lalu · 10 tayangan

llama.cpp b10447 mendesain ulang model utas yield_to_queue

Proyek llama.cpp telah merilis build b10447, yang mencakup desain ulang model utas `yield_to_queue`. Perubahan ini melibatkan menjalankan `common_speculative_process` di worker dan menukar desain utas worker ke utama.

github llama.cpp · 2 hari lalu · 9 tayangan

llama.cpp b10444 menambahkan dukungan model asisten MTP dan menghapus eagle3

Proyek llama.cpp telah merilis versi b10444, memperkenalkan dukungan untuk memuat model asisten Prediksi Multi-Token (MTP) melalui flag `--models-dir`. Pembaruan ini juga mencakup pemeriksaan awalan ketat untuk model MTP dalam preset dan menghapus dukungan untuk tipe draf eagle3.