github llama.cpp · baru saja · inference

llama.cpp b11000 memperbaiki eksekusi kode jarak jauh akibat use-after-free pada grafik komputasi yang di-cache

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11000, yang mengatasi kerentanan keamanan kritis pada server RPC. Perbaikan ini menyelesaikan bug use-after-free yang memungkinkan klien jarak jauh tanpa autentikasi mencapai eksekusi kode jarak jauh dengan memanipulasi grafik komputasi yang di-cache.

Implementasi sebelumnya meng-cache grafik komputasi per perangkat untuk menghindari pengiriman ulang data tensor selama operasi GRAPH_RECOMPUTE.
Simpul yang di-cache ini memegang pointer langsung ke buffer backend; jika buffer dibebaskan melalui FREE_BUFFER, eksekusi ulang berikutnya mengakses pointer menggantung.
Penyerang dapat mengubah bentuk potongan memori melalui perintah ALLOC_BUFFER dan SET_TENSOR untuk membocorkan alamat libc dan merebut alih antarmuka vtable buffer.
Patch tersebut membuang semua grafik yang di-cache dalam free_buffer(), menyebabkan klien kembali ke GRAPH_COMPUTE pada panggilan berikutnya.

Pembaruan ini mencegah eksploitasi eksekusi kode jarak jauh yang menargetkan server RPC llama.cpp tanpa memerlukan perubahan protokol atau API.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Safety & alignment

Artikel terkait

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp b10997 memperluas heuristik ubin MoE untuk RDNA3.5

Proyek llama.cpp merilis versi b10997, yang mencakup perubahan pada heuristik ubin ncols_opt Mixture of Experts (MoE) untuk mendukung arsitektur RDNA3.5.

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp b10994 memperbaiki NaN Metal di mul_mm_id untuk aktivasi besar

Rilis llama.cpp b10994 menyertakan perbaikan untuk backend Metal yang menyelesaikan keluaran NaN dalam operasi `mul_mm_id` ketika nilai aktivasi melebihi rentang f16. Cacat ini sebelumnya menyebabkan model seperti Mistral Small 4 menghasilkan kosakata sepenuhnya NaN selama langkah prefill 32 token atau lebih pada perangkat Apple Silicon.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b10995 membuat tail BN/2 MUL_MAT_ID Vulkan menjadi tanpa syarat

Proyek llama.cpp merilis build b10995, yang memodifikasi penanganan operasi MUL_MAT_ID oleh backend Vulkan. Secara khusus, perubahan ini membuat tail BN/2 menjadi tanpa syarat dengan menggunakan BN/2 sebagai default untuk BNover2 dan sebagai fallback dinonaktifkan untuk BNover4, sambil menghapus gate enable dari cabang tersebut.

lab NVIDIA Research · 12 jam lalu · 4 tayangan

ShareMMU memungkinkan berbagi terjemahan alamat yang aman di antara akselerator tidak tepercaya dengan overhead rendah

Peneliti menyajikan ShareMMU, desain IOMMU yang memungkinkan beberapa akselerator tidak tepercaya untuk secara aman menggunakan kembali alamat yang telah diterjemahkan sebelumnya dalam ruang alamat virtual bersama. Pendekatan ini mengurangi risiko saluran samping yang terkait dengan Buffer Terjemahan Bersama (TLB) besar sambil mempertahankan kinerja tinggi.

github llama.cpp · 13 jam lalu · 2 tayangan

llama.cpp b10989 mengaktifkan AllReduce untuk ROCm dan menyediakan binari multi-platform

Proyek llama.cpp telah merilis versi b10989, yang memperkenalkan dukungan untuk mengaktifkan operasi AllReduce di dalam backend ROCm. Pembaruan ini merupakan bagian dari pengembangan berkelanjutan untuk memperluas kompatibilitas perangkat keras dan kemampuan komputasi terdistribusi untuk inferensi model bahasa besar.