github llama.cpp · baru saja · inference

llama.cpp menggabungkan RMS_NORM dan SCALE ke dalam satu kernel CUDA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah menggabungkan operasi RMS_NORM dan SCALE ke dalam satu kernel CUDA untuk mengurangi overhead host/driver. Sebelumnya, node SCALE terpisah menambahkan peluncuran kernel tambahan yang dapat diabaikan dalam pemrosesan batch biasa tetapi secara signifikan meningkatkan latensi selama decoding spekulatif draft-mtp.

Penggabungan menambahkan flag do_scale ke rms_norm_f32, memungkinkan jalur gabungan berbagi kernel, reduksi, dan peluncur sambil mempertahankan kesetaraan numerik bit-per-bit.
Pada setup 2x GTX 1080 Ti dengan Qwen3.8-27B, throughput prefill dingin meningkat sebesar 4,2% untuk 8000 token dan 4,8% untuk 20000 token di bawah kondisi draft-mtp.
Jumlah peluncuran per ubatch menurun dari 1032,9 + 841,7 kembali ke 978,9 + 799,7, sesuai dengan hitungan baseline sebelumnya tanpa mengubah jumlah operasi GPU.
Semua pengujian backend untuk RMS_NORM_SCALE, NORM_SCALE, dan operasi terkait berhasil pada kedua GPU, dengan perplexity tetap identik dengan build yang tidak digabungkan.

Optimasi ini meningkatkan kecepatan inferensi secara khusus dalam skenario decoding spekulatif dengan mengurangi biaya kumulatif peluncuran kernel.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Artikel terkait

media Hugging Face Forums · 3 jam lalu · 1 tayangan

VeriLoop E2: Model pasca-pelatihan 27B dengan tangga GGUF dari BF16 ke IQ1_M

Lab Robot SIGS Tsinghua telah merilis VeriLoop E2, sebuah model pasca-pelatihan 27B yang dibangun di atas Qwen3.8-27B untuk kode yang dapat diverifikasi, matematika, dan penalaran ilmiah. Rilis ini memperkenalkan VeriLoop-Governed Recurrence (VGR), yang memisahkan generasi dari verifikasi eksternal untuk memastikan transisi keadaan secara ketat meningkatkan dimensi bukti.

arxiv arXiv cs.CL · 3 jam lalu · 2 tayangan

Kerangka kerja koroutin-bridge memenangkan Jalur 2 CAR-bench dengan Pass^3 sebesar 60,0%

Sebuah kerangka kerja koroutin-bridge baru untuk agen yang menggunakan alat memenangkan Jalur 2 dari evaluasi CAR-bench, mencapai skor Pass@3 sebesar 60,0% pada set uji tersembunyi resmi. Sistem ini memisahkan pemanggilan model dari putaran balik alat dengan membuat model menghasilkan program Python yang memblokir dan melanjutkan kembali di antara pertukaran evaluator.

github llama.cpp · 14 jam lalu · 6 tayangan

llama.cpp b11160 menambahkan matmul coopmat1 int8 untuk AMD RDNA3/4 dan dukungan IQ4_XS

Proyek llama.cpp merilis versi b11160, memperkenalkan implementasi matriks kooperatif int8 (coopmat1) untuk Vulkan pada arsitektur AMD RDNA3 dan RDNA4. Pembaruan ini mencakup shader khusus yang probing nilai coopmat secara langsung untuk meningkatkan kinerja.

lab Hugging Face Blog · 14 jam lalu · 3 tayangan

Liquid AI merilis LFM2.5-VL-DSpark untuk mempercepat inferensi model visi-bahasa

Liquid AI telah merilis model draf LFM2.5-VL-DSpark, sebuah drafter decoding spekulatif yang dirancang untuk mempercepat inferensi bagi model visi-bahasa LFM2.5-VL-3B. Drafter ini menangkap keadaan tersembunyi dari lapisan tetap pada model target untuk menghasilkan token kandidat, hanya menambahkan 280M parameter (overhead 8,9%) sambil mempertahankan dimensi yang identik di seluruh modalitas.

lab Liquid AI · 16 jam lalu · 1 tayangan

Liquid AI merilis model draf DSpark untuk LFM2.5-VL-3B

Liquid AI telah merilis model draf eksperimental DSpark untuk model visi-bahasanya LFM2.5-VL-3B, memungkinkan decoding yang lebih cepat pada perangkat edge dan GPU tanpa mengubah kualitas output.