github llama.cpp · 6 hari lalu · inference

llama.cpp menambahkan kernel biner A8 Q8_0 non-MoE dp4a untuk OpenCL

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah menambahkan kernel biner A8 Q8_0 non-MoE dp4a untuk OpenCL.

Perubahan ini dilacak sebagai pull request #29439 di repositori ggml-org/llama.cpp.
Ini memperkenalkan dukungan untuk format kuantisasi tertentu (A8 Q8_0) menggunakan set instruksi dp4a di dalam backend OpenCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

AiiStream Q3.6 memungkinkan menjalankan Qwen3.6-35B-A3B di Mac dengan RAM 8-16 GB

Penulis telah merilis AiiStream Q3.6, sebuah teknik sumber terbuka yang memungkinkan model Qwen3.6-35B-A3B berjalan pada perangkat Apple Silicon dengan hanya 8 hingga 16 GB RAM. Dengan menyimpan ahli yang dialihkan di SSD dan menggunakan prediksi pemuatan awal, metode ini mengurangi penggunaan memori MLX menjadi sekitar 1,7 GB sambil mempertahankan output yang identik tingkat byte dibandingkan implementasi standar mlx_lm.

media Hugging Face Forums · 5 jam lalu · 1 tayangan

Proposal untuk mengambil memori laten asli LLM alih-alih teks di RAG

Sebuah diskusi di Hugging Face mengusulkan mengganti pengambilan teks tradisional dalam sistem RAG dengan representasi laten asli LLM. Gagasan ini melibatkan pengkodean dokumen ke dalam keadaan internal model selama pengindeksan dan mengambil keadaan tersebut untuk inferensi, berpotensi menghindari biaya memproses ulang teks yang diambil.

github llama.cpp · 19 jam lalu · 4 tayangan

llama.cpp b11309 mengoptimalkan ALLREDUCE Hexagon dengan mode scatter aman

Proyek llama.cpp merilis versi b11309, yang mencakup optimasi kunci untuk backend Hexagon. Pembaruan ini menambahkan dukungan untuk mode scatter aman ke operasi ALLREDUCE, bertujuan untuk meningkatkan kinerja dan stabilitas pada perangkat Qualcomm Snapdragon.

github llama.cpp · 19 jam lalu · 1 tayangan

llama.cpp b11310 melindungi kernel dequantisasi iq4_nl terhadap baris pendek

Proyek llama.cpp merilis versi b11310, yang mencakup perbaikan untuk logika dequantisasi IQ4_NL pada backend CUDA. Pembaruan ini mengatasi masalah keamanan memori di mana thread dapat membaca dan menulis melewati akhir baris saat memproses blok yang lebih pendek dari QK_K.

github llama.cpp · 22 jam lalu · 1 tayangan

llama.cpp b11307 mempertahankan urutan batch untuk decoding spekulatif

Proyek llama.cpp merilis build b11307, yang memperbaiki urutan input lapisan untuk mempertahankan urutan batch asli selama decoding spekulatif. Perubahan ini memastikan bahwa urutan token dipertahankan dengan benar untuk embedding NextN yang tidak dimask dan kompatibel dengan pemisahan tensor.