github llama.cpp · 1 jam lalu · inference

llama.cpp b10148 memperbaiki resolusi sidecar draft dan verbosity log

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10148, mengatasi masalah dengan konfigurasi decoding spekulatif dan logging. Pembaruan memastikan bahwa argumen baris perintah eksplisit untuk model draft memiliki prioritas atas resolusi sidecar otomatis.

Flag --model-draft eksplisit sekarang menonaktifkan resolusi sidecar otomatis, memungkinkan konfigurasi CLI manual menimpa perilaku default.
Logika pemilihan sidecar diperbarui untuk berakar pada tag model utama, memungkinkan kecocokan tepat atau fallback kuantisasi terdekat.
Log pemuatan spekulatif dipromosikan dari level trace ke info, membuat visibilitas konteks model draft dan MTP konsisten dengan log sistem lainnya.

Perubahan ini meningkatkan keandalan bagi pengguna yang mengandalkan spesifikasi model draft manual dan menyediakan logging operasional yang lebih jelas.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

TraceML menambahkan callback Hugging Face Trainer untuk mendiagnosis bottleneck pemuatan data

Penulis telah mengintegrasikan alat diagnostik ke dalam TraceML, sebuah proyek observabilitas PyTorch sumber terbuka, untuk membantu pengguna membedakan antara masalah kinerja pelatihan yang dibatasi oleh komputasi GPU dan yang dibatasi oleh input. Fitur baru ini memungkinkan pengembang dengan cepat mengidentifikasi apakah utilisasi GPU yang rendah disebabkan oleh pemuatan data yang lambat atau batas komputasi model yang sebenarnya.

github llama.cpp · 2 jam lalu · 1 tayangan

Aaron Teo menambahkan argumen -lm mlock ke llama.cpp

Aaron Teo telah mengirimkan perubahan ke repositori llama.cpp yang memperkenalkan argumen baris perintah `-lm mlock` baru. Penambahan ini memungkinkan pengguna untuk mengunci memori secara eksplisit di wilayah tempat kode melakukan operasi `mlock` tetapi tidak menggunakan `mmap`.

github llama.cpp · 6 jam lalu · 2 tayangan

llama.cpp b10144 memperbaiki rute aliran untuk nama model dengan garis miring

Rilis llama.cpp b10144 menangani masalah kritis pada server dan UI terkait aliran yang dapat dilanjutkan, khususnya memperbaiki penanganan nama model yang mengandung garis miring. Ini juga menyelesaikan bug di mana permintaan tidak dibatalkan atau dilanjutkan dengan benar selama pemuatan model.

github llama.cpp · 11 jam lalu

llama.cpp b10142 menambahkan dukungan awal visi MiniMax-M3

Proyek llama.cpp merilis build b10142, yang memperkenalkan dukungan visi awal untuk model MiniMax-M3. Pembaruan ini mengimplementasikan port teks-saja yang menggunakan kembali komponen yang ada dari MiniMax-M2, termasuk GQA dengan QK-norm per-kepala dan rotary parsial, ahli gaya DeepSeek-V3, dan aktivasi swigluoai.

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp b10107 memperbaiki crash Windows dan menyediakan biner untuk beberapa platform

Proyek llama.cpp telah merilis versi b10107, yang mencakup perbaikan untuk crash Windows yang terjadi ketika fitur op_poll diaktifkan.