github llama.cpp · 1 jam lalu · inference

llama.cpp v0.1.2 menambahkan optimisasi CUDA MMVQ dan hashing SHA256 mtmd

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi 0.1.2, yang mencakup sinkronisasi dengan ggml (ditingkatkan ke 0.20.2) serta beberapa pembaruan pada komponen server dan UI.

CUDA: MMVQ nwarps=8 untuk bs=1 pada model padat di DGX Spark.
mtmd: gunakan sha256 untuk hashing input.
vocab: dukungan skor tokenizer bilangan bulat.
mtmd: lewati thumbnail untuk gambar LFM2 non-tiled.
server: simpan potongan mtmd yang diproses sebagai placeholder.
ui: terapkan urutan anggota enum secara alfabetis dan refactor penamaan Alat Bawaan.

Rilis ini juga menangani pembersihan build untuk xcframework + cmake serta memperbarui proses CI untuk generasi pra-rilis.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

MLX v0.32.1 menambahkan dukungan dimensi kepala 72 dalam perhatian penuh Metal

Pustaka MLX merilis versi 0.32.1, memperkenalkan dukungan untuk dimensi kepala 72 dalam implementasi perhatian penuh Metal-nya.

lab Hugging Face Blog · 16 jam lalu

Alokator GPU yang sadar kendala meningkatkan utilisasi dan output berbobot prioritas melebihi FIFO

Sebuah alokator GPU yang sadar kendala diuji bandingkan dengan penjadwal FIFO di tujuh skenario, mencapai peningkatan utilisasi GPU hingga 33 poin persentase dan output berbobot prioritas hingga 105% lebih tinggi pada perangkat keras yang identik. Sistem ini memperlakukan permintaan inferensi waktu nyata sebagai kurva berfluktuasi daripada reservasi statis, memungkinkan pekerjaan seperti batch mengisi kapasitas selama titik terendah sambil menghormati kendala ketat seperti blok GPU yang kontigu dan non-preempsi.

github llama.cpp · 18 jam lalu

llama.cpp b10472 melewatkan override UMA untuk build HIP

Proyek llama.cpp merilis build b10472, yang mencakup perbaikan untuk melewati penggantian Arsitektur Memori Terpadu (UMA) untuk build HIP. Perubahan ini mengatasi masalah di mana Unit Pemrosesan Dipercepat (APU) AMD melaporkan informasi memori yang tidak akurat melalui hipMemGetInfo.

media Hugging Face Forums · 1 hari lalu · 9 tayangan

Prototipe SpiralCoreAttention memilih blok token untuk penyetelan halus QLoRA pada urutan panjang

Seorang pengembang meminta umpan balik mengenai SpiralCoreAttention, sebuah prototipe pemilihan konteks selama pelatihan yang bersifat eksperimental untuk penyetelan halus LLM bobot terbuka. Alih-alih memproses seluruh urutan panjang dalam setiap langkah maju dan mundur, sistem memilih blok token tertentu dari urutan tersebut untuk dilatih, sambil mengevaluasi adapter yang dihasilkan pada urutan konteks penuh yang diisolasi.

github llama.cpp · 1 hari lalu · 17 tayangan

llama.cpp b10456 memperbaiki jumlah thread SYCL untuk peningkatan throughput 7x pada Arc 70

Proyek llama.cpp merilis versi b10456, yang mencakup perbaikan kritis untuk backend SYCL dalam peluncuran kernel salinan terkuantisasi. Pembaruan ini menyesuaikan jumlah thread dan blok agar sebanding dengan ukuran kuantisasi, secara efektif mengurangi masalah under- dan over-subscription.