github llama.cpp · 1 jam lalu · inference

llama.cpp b10105 merestrukturisasi ulang mlock/mmap/directio menjadi satu argumen mode muat

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10105, yang memperkenalkan restrukturisasi signifikan pada antarmuka baris perintah dengan menggabungkan flag manajemen memori terpisah menjadi satu argumen `load-mode`.

Mengubah pengaturan mmap, mlock, dan I/O langsung menjadi satu argumen untuk menyederhanakan konfigurasi.
Memperbaiki bug di mana perilaku variabel tidak benar dan mlock tidak mengaktifkan seperti yang diharapkan.
Memperbarui llama-bench untuk menyinkronkan parsing argumen dan memperbaiki masalah ukuran kolom.
Menambahkan peringatan deprecasi ketika menggabungkan flag lama dan baru untuk memandu pengguna selama transisi.
Termasuk pembersihan kode umum, pembaruan dokumentasi melalui llama-gen-docs, dan perbaikan untuk dukungan flag yang di-deprecasi.

Rilis ini membantu pengguna dengan merampingkan opsi konfigurasi memori dan memastikan bahwa fitur kritis seperti mlock berfungsi dengan benar di platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10099 meningkatkan kuantisasi NVFP4 W4A4 pada CUDA

Proyek llama.cpp merilis versi b10099, yang mencakup pembaruan signifikan pada backend CUDA untuk peningkatan kuantisasi aktivasi NVFP4 W4A4.

github llama.cpp · 14 jam lalu

llama.cpp b10098 memperbarui operasi aktivasi Hexagon

Proyek llama.cpp merilis versi b10098, yang mencakup pembaruan pada operasi aktivasi Hexagon. Rilis ini menyediakan biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend CPU dan GPU.

media Together AI Blog · 16 jam lalu

Together meluncurkan Inferensi Model Dedikasi dengan beta pelatihan kustom

Together telah merilis pembaruan signifikan untuk platform inferensinya, memperkenalkan "Inferensi Model Dedikasi" yang dirancang untuk memberikan pengguna kendali penuh atas kinerja, biaya, dan kualitas untuk model bobot terbuka. Pembaruan ini juga mengumumkan beta tertutup untuk kemampuan pelatihan kustom, termasuk pembelajaran penguatan dengan bobot penuh dan LoRA.

github llama.cpp · 16 jam lalu

llama.cpp b10094 menyimpulkan tipe spekulatif dari sidecar repo draf

Proyek llama.cpp merilis versi b10094, memperkenalkan fitur yang secara otomatis mendeteksi tipe decoding spekulatif dari sidecar repositori draf. Sebelumnya, saat menggunakan flag `-hfd` untuk menunjuk ke repositori yang berisi sidecar mtp-, dflash-, atau eagle3- tanpa secara eksplisit menyediakan `--spec-type`, sistem akan salah menyelesaikan draf sebagai model penuh.

github llama.cpp · 18 jam lalu

llama.cpp b10093 memperbaiki template DeepSeek v4 dan menambahkan flag drop_reasoning

Proyek llama.cpp telah merilis build b10093, yang mencakup pembaruan spesifik untuk mendukung model DeepSeek v4. Rilis ini menangani penanganan template dan memperkenalkan flag konfigurasi baru untuk keluarga model ini.