github llama.cpp · 1 hari lalu · inference

llama.cpp b11306 memperbaiki abort realokasi grafik dengan mengaktifkan causal_attn

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11306, yang menangani crash akibat perubahan bentuk grafik selama decoding. Pembaruan ini mengubah penanganan flag `causal_attn` untuk mencegah kegagalan realokasi di bawah batasan penjadwalan tertentu.

Setelah decode perangkat, `causal_attn` dimatikan untuk separuh ubatch dan kemudian dihidupkan kembali untuk sisa batch untuk memastikan jumlah node yang konsisten.
Perubahan ini mencegah grafik melakukan realokasi pada ukuran yang tidak berubah, yang sebelumnya menyebabkan abort eksekusi ketika `GGML_SCHED_NO_REALLOC` aktif.
Perbaikan ini berlaku untuk arsitektur decode tetapi dilewati untuk arsitektur encode.

Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11330 menambahkan dukungan MTP untuk Qwen4Exp

Proyek llama.cpp telah merilis build b11330, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) secara khusus untuk model Qwen4Exp. Pembaruan ini merupakan bagian dari rilis lebih luas yang menyediakan biner untuk macOS, Linux, Windows, Android, dan iOS di berbagai backend perangkat keras.

media Hugging Face Forums · 3 jam lalu · 1 tayangan

AiiStream Q3.6 memungkinkan menjalankan Qwen3.6-35B-A3B di Mac dengan RAM 8-16 GB

Penulis telah merilis AiiStream Q3.6, sebuah teknik sumber terbuka yang memungkinkan model Qwen3.6-35B-A3B berjalan pada perangkat Apple Silicon dengan hanya 8 hingga 16 GB RAM. Dengan menyimpan ahli yang dialihkan di SSD dan menggunakan prediksi pemuatan awal, metode ini mengurangi penggunaan memori MLX menjadi sekitar 1,7 GB sambil mempertahankan output yang identik tingkat byte dibandingkan implementasi standar mlx_lm.

media Hugging Face Forums · 8 jam lalu · 1 tayangan

Proposal untuk mengambil memori laten asli LLM alih-alih teks di RAG

Sebuah diskusi di Hugging Face mengusulkan mengganti pengambilan teks tradisional dalam sistem RAG dengan representasi laten asli LLM. Gagasan ini melibatkan pengkodean dokumen ke dalam keadaan internal model selama pengindeksan dan mengambil keadaan tersebut untuk inferensi, berpotensi menghindari biaya memproses ulang teks yang diambil.

github llama.cpp · 22 jam lalu · 5 tayangan

llama.cpp b11309 mengoptimalkan ALLREDUCE Hexagon dengan mode scatter aman

Proyek llama.cpp merilis versi b11309, yang mencakup optimasi kunci untuk backend Hexagon. Pembaruan ini menambahkan dukungan untuk mode scatter aman ke operasi ALLREDUCE, bertujuan untuk meningkatkan kinerja dan stabilitas pada perangkat Qualcomm Snapdragon.

github llama.cpp · 22 jam lalu · 1 tayangan

llama.cpp b11310 melindungi kernel dequantisasi iq4_nl terhadap baris pendek

Proyek llama.cpp merilis versi b11310, yang mencakup perbaikan untuk logika dequantisasi IQ4_NL pada backend CUDA. Pembaruan ini mengatasi masalah keamanan memori di mana thread dapat membaca dan menulis melewati akhir baris saat memproses blok yang lebih pendek dari QK_K.