github llama.cpp · baru saja · inference

llama.cpp b10730 mengoptimalkan pemrosesan prompt Qwen4exp dengan menjumlahkan kepala indexer berdasarkan irisan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10730, yang mencakup optimasi untuk arsitektur model Qwen4exp. Perubahan utama melibatkan penjumlahan kepala indexer berdasarkan irisan alih-alih menggunakan operasi transpose dan sum_rows, sehingga mengurangi overhead salinan memori.

Kecepatan pemrosesan prompt meningkat dari 2170 menjadi 2366 token per detik pada RTX PRO 6000 dengan Qwen3.8-Flash-Next UD-Q4_K_XL.
Optimasi ini menghapus persyaratan tensor kontigu redundan untuk kueri indexer, karena rope mengembalikan tensor kontigu yang baru dialokasikan.
Kecepatan generasi tidak terpengaruh, tetapi peningkatan dalam pemrosesan prompt berskala dengan panjang konteks dan ukuran ubatch.
Output greedy tetap tidak berubah token demi token dibandingkan versi sebelumnya.

Pembaruan ini meningkatkan efisiensi untuk tugas inferensi konteks panjang yang melibatkan model Qwen4exp dengan mengurangi pemborosan komputasi selama fase pemrosesan prompt.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10727 menambahkan dukungan penggabungan untuk tipe terkuantisasi

Proyek llama.cpp telah merilis build b10727, yang memperkenalkan dukungan penggabungan untuk tipe data terkuantisasi. Pembaruan ini dibantu oleh DeepSeek-V4-Flash-0731 dan mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, dan Vulkan.

github llama.cpp · 11 jam lalu · 6 tayangan

llama.cpp b10726 mempercepat pemrosesan prompt model IQ batch besar dengan AVX2

Proyek llama.cpp merilis versi b10726, yang memperkenalkan optimasi kinerja signifikan untuk memproses ukuran batch besar dalam model terkuantisasi IQ. Pembaruan utama memanfaatkan instruksi AVX2 untuk mempercepat kuantisasi IQ grid melalui operasi GEMM batch.

github llama.cpp · 13 jam lalu · 7 tayangan

llama.cpp b10723 menyesuaikan jalur kuantisasi OpenCL untuk GPU Intel Xe-LP

Proyek llama.cpp merilis versi b10723, yang mencakup optimasi spesifik untuk OpenCL pada perangkat keras grafis Intel Xe-LP. Pembaruan ini berfokus pada peningkatan kinerja generasi tensor (TG) dan praisi (PP) dengan menyesuaikan kernel kuantisasi.

github llama.cpp · 16 jam lalu · 9 tayangan

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 18 jam lalu · 6 tayangan

Rilis llama.cpp b10717 meningkatkan pengambilan informasi memori SYCL

Proyek llama.cpp telah merilis versi b10717, yang mencakup peningkatan spesifik untuk backend SYCL pada GPU Intel. Pembaruan ini meningkatkan kemampuan untuk mengambil informasi memori bebas dengan memanfaatkan API L0 SYCL.