github llama.cpp · 1 jam lalu · inference

llama.cpp b10430 memungkinkan perangkat igpu virtual

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10430, yang memperkenalkan dukungan untuk perangkat GPU terintegrasi (igpu) virtual. Pembaruan ini juga mencakup komentar yang ditingkatkan di dalam basis kode.

Rilis ini menyediakan biner dan kerangka kerja untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu dengan CPU, Vulkan, OpenVINO, SYCL, dan ROCm dinonaktifkan), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan ROCm 7.14), dan arsitektur openEuler.

Pembaruan ini memungkinkan pengguna menjalankan llama.cpp pada sistem yang menggunakan konfigurasi igpu virtual di berbagai sistem operasi dan akselerator perangkat keras.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10429 memungkinkan akses ke /metrics dan /slots selama llama_decode()

Proyek llama.cpp merilis versi b10429, yang memodifikasi server untuk mengizinkan akses ke endpoint /metrics dan /slots saat llama_decode() sedang dieksekusi.

github llama.cpp · 6 jam lalu

llama.cpp b10427 menggabungkan operasi FFN SYCL untuk peningkatan throughput hingga 12,4%

Proyek llama.cpp merilis versi b10427, yang mencakup optimasi kinerja untuk GPU Intel Arc melalui SYCL. Pembaruan ini mengimplementasikan penggabungan operasi gate, up, dan GLU di dalam lapisan jaringan feed-forward padat (FFN) q4_K.

github llama.cpp · 7 jam lalu · 1 tayangan

llama.cpp b10425 menggabungkan penulisan kembali keadaan gated-delta-net untuk percepatan +1,2%

Proyek llama.cpp telah merilis versi b10425, yang mencakup port optimasi SYCL untuk menggabungkan salinan penulisan kembali keadaan gated-delta-net.

arxiv arXiv cs.CL · 10 jam lalu

Pengurangan Perkalian Matriks: Reduksi Produk-Matriks Adaptif-Input untuk Inferensi LLM

Para peneliti mengusulkan Pengurangan Perkalian Matriks (RMM), metode inferensi adaptif-input tanpa pelatihan yang mengurangi produk matriks Transformer dengan memilih irisan informatif sepanjang dimensi kontraksi tanpa memodifikasi bobot model. Di bawah kontrol rasio retensi yang sederhana, RMM memberikan trade-off akurasi-efisiensi yang halus dan dapat diprediksi di seluruh model bahasa mulai dari 1B hingga 70B parameter.

github llama.cpp · 15 jam lalu

llama.cpp b10418 menambahkan dukungan memori host tetap untuk SYCL

Proyek llama.cpp merilis versi b10418, memperkenalkan dukungan memori host tetap untuk meningkatkan akses memori Host-ke-Perangkat pada SYCL. Pembaruan ini mengatasi masalah keamanan utas dalam implementasi backend.