github llama.cpp · 1 jam lalu · inference

llama.cpp b10331 memperbaiki get_info server untuk melaporkan direktori kerja terisolasi yang benar

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10331, yang mencakup perbaikan untuk endpoint `get_info` server. Sebelumnya, ketika tidak ada direktori kerja saat ini eksplisit yang diberikan, fungsi secara salah kembali ke direktori kerja proses server, bahkan jika tools runtime dikonfigurasi.

Server sekarang meminta isolat untuk direktori kerjanya ketika tools runtime aktif, memastikan jalur yang benar dilaporkan.
Ini mempertahankan direktori kerja proses hanya ketika alat dijalankan langsung di host.
Komentar redundan telah dihapus dari basis kode.

Perubahan ini memastikan bahwa jalur eksekusi alat tercermin dengan akurat dalam respons informasi server, mencegah masalah di mana jalur host bernama tidak cocok dengan lingkungan aktual isolat.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10330 menggabungkan rms_norm, mul, dan rope pada CUDA

Proyek llama.cpp telah merilis versi b10330, memperkenalkan optimasi CUDA yang menggabungkan operasi rms_norm, perkalian, dan RoPE menjadi satu kernel. Perubahan ini disertai dengan pemeriksaan rentang memori untuk operasi yang digabungkan dan kasus uji baru untuk bobot broadcast.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b10328 menambahkan isolasi alat server awal melalui Docker

Proyek llama.cpp telah merilis build b10328, yang memperkenalkan dukungan awal untuk mengisolasi alat di dalam komponen server menggunakan Docker. Pembaruan ini mencakup dokumentasi dan adaptasi kode untuk memisahkan sandbox I/O alat dan mengganti nama flag konfigurasi yang relevan.

github llama.cpp · 19 jam lalu · 1 tayangan

llama.cpp b10327 memperbaiki jumlah thread/blok pada kernel salinan terkuantisasi

Proyek llama.cpp merilis versi b10327, yang mencakup perbaikan untuk jumlah thread dan blok dalam peluncuran kernel salinan terkuantisasi di CUDA. Pembaruan ini mengatasi masalah yang diidentifikasi dalam pull request #26731.

github llama.cpp · 1 hari lalu

llama.cpp b10326 memperhitungkan jalur vocoder dalam penjadwalan

Proyek llama.cpp merilis build b10326, yang memodifikasi cara pengukuran waktu dihitung dengan memasukkan jalur vocoder.

github llama.cpp · 1 hari lalu

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

Proyek llama.cpp merilis versi b10322, yang mencakup perbaikan kritis untuk operasi GGML_OP_NORM dan GGML_OP_RMS_NORM pada Metal. Pembaruan ini menyelesaikan masalah di mana threadgroups dengan ukuran yang menyisakan kelompok SIMD parsial menyebabkan perhitungan mean dan varians yang salah akibat hilangnya jumlah parsial.