github llama.cpp · baru saja · inference

llama.cpp b10795 menggabungkan operasi SYCL

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10795, yang mencakup optimasi baru untuk backend SYCL. Pembaruan ini mengaktifkan penggabungan rantai RMS_NORM+MUL+ADD dan ADD+ADD residual di bawah flag GGML_SYCL_ENABLE_FUSION.

Operasi ADD+ADD yang digabungkan menggunakan kembali indeks broadcast dan matriks tipe yang sama dengan fungsi add() mandiri, mendukung f32, f16, i32, i16, bf16, dan data non-kontigu.
Kombinasi yang tidak didukung dalam logika penggabungan kembali ke dua peluncuran add() terpisah untuk menjaga kompatibilitas.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai akselerator perangkat keras, termasuk CUDA, ROCm, Vulkan, dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

media r/LocalLLaMA · 14 jam lalu · 3 tayangan

IFM merilis K2-Horizon-MoVA-36B-A4B, model MoE jarang dengan 4B parameter aktif

IFM telah merilis checkpoint akhir untuk K2-Horizon-MoVA-36B-A4B, sebuah model Mixture-of-Experts yang menampilkan perhatian Mixture-of-Values yang menyimpan 36B parameter tetapi menjalankan hanya 4B per token. Rilis ini mencakup format GGUF dan tautan ke varian lebih kecil dalam keluarga K2-Horizon.

github llama.cpp · 16 jam lalu · 3 tayangan

llama.cpp menambahkan dukungan sparse flash attention untuk prefill Metal

Proyek llama.cpp telah memperkenalkan dukungan sparse flash attention (FA) untuk backend Metal, yang secara khusus menargetkan fase prefill dari inferensi model. Pembaruan ini mencakup kernel baru yang memadatkan entri mask hingga ke daftar indeks per-baris dan memperluas kernel FA vektor dengan pengumpulan indeks sparse opsional.

github llama.cpp · 19 jam lalu · 1 tayangan

llama.cpp b10780 meningkatkan API SYCL untuk mendukung salin peer-to-peer

Proyek llama.cpp telah merilis versi b10780, yang mencakup peningkatan spesifik pada backend SYCL. Pembaruan ini memodifikasi API untuk mengaktifkan kemampuan salin peer-to-peer untuk perangkat SYCL.

github llama.cpp · 19 jam lalu · 2 tayangan

llama.cpp menambahkan dukungan untuk NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp memperkenalkan dukungan untuk model NVIDIA Nemotron-3-Puzzle-75B-A9B, mengaktifkan inferensi untuk arsitektur Mixture of Experts ini. Pembaruan ini mengimplementasikan infrastruktur untuk ukuran feed-forward ahli per-layer yang bervariasi dan routing top-k, yang diperlukan karena model memiliki 40 lapisan MoE dengan nilai n_ff_exp dan top-k yang berbeda.