github llama.cpp · 1 jam lalu · inference

llama.cpp b10429 memungkinkan akses ke /metrics dan /slots selama llama_decode()

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10429, yang memodifikasi server untuk mengizinkan akses ke endpoint /metrics dan /slots saat llama_decode() sedang dieksekusi.

Perubahan ini memperbarui server_queue::worker untuk memanggil llama_decode di dalam yield_to_queue.
Ini juga menangani process_mtmd_chunk selama operasi ini.
Binari tersedia untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Pembaruan ini meningkatkan responsivitas server dengan mencegah blokir endpoint selama inferensi model.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10430 memungkinkan perangkat igpu virtual

Proyek llama.cpp telah merilis versi b10430, yang memperkenalkan dukungan untuk perangkat GPU terintegrasi (igpu) virtual. Pembaruan ini juga mencakup komentar yang ditingkatkan di dalam basis kode.

github llama.cpp · 7 jam lalu

llama.cpp b10427 menggabungkan operasi FFN SYCL untuk peningkatan throughput hingga 12,4%

Proyek llama.cpp merilis versi b10427, yang mencakup optimasi kinerja untuk GPU Intel Arc melalui SYCL. Pembaruan ini mengimplementasikan penggabungan operasi gate, up, dan GLU di dalam lapisan jaringan feed-forward padat (FFN) q4_K.

github llama.cpp · 8 jam lalu · 1 tayangan

llama.cpp b10425 menggabungkan penulisan kembali keadaan gated-delta-net untuk percepatan +1,2%

Proyek llama.cpp telah merilis versi b10425, yang mencakup port optimasi SYCL untuk menggabungkan salinan penulisan kembali keadaan gated-delta-net.

arxiv arXiv cs.CL · 11 jam lalu

Pengurangan Perkalian Matriks: Reduksi Produk-Matriks Adaptif-Input untuk Inferensi LLM

Para peneliti mengusulkan Pengurangan Perkalian Matriks (RMM), metode inferensi adaptif-input tanpa pelatihan yang mengurangi produk matriks Transformer dengan memilih irisan informatif sepanjang dimensi kontraksi tanpa memodifikasi bobot model. Di bawah kontrol rasio retensi yang sederhana, RMM memberikan trade-off akurasi-efisiensi yang halus dan dapat diprediksi di seluruh model bahasa mulai dari 1B hingga 70B parameter.

github llama.cpp · 16 jam lalu

llama.cpp b10418 menambahkan dukungan memori host tetap untuk SYCL

Proyek llama.cpp merilis versi b10418, memperkenalkan dukungan memori host tetap untuk meningkatkan akses memori Host-ke-Perangkat pada SYCL. Pembaruan ini mengatasi masalah keamanan utas dalam implementasi backend.