github llama.cpp · 1 jam lalu · inference

llama.cpp b10081 menyelesaikan repo draf ke sidecar yang diminta

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10081 memperbaiki bug di mana flag `--hfd` menunjuk ke repositori yang berisi sidecar spekulatif, tetapi rencana draf salah diselesaikan ke model utama alih-alih sidecar. Ini terjadi karena `find_best_model()` mengecualikan file sidecar dan rencana draf eksplisit menekan penemuan sidecar.

Perbaikan menghubungkan sidecar yang ditemukan sebagai draf, mengikuti pola fallback dari rencana utama, memungkinkan perintah seperti `llama-server -hf repo -hfd repo --spec-type draft-dflash` berfungsi sebagaimana mestinya.

Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10080 memperbaiki crash server dan error validasi UI

Rilis llama.cpp b10080 mengatasi dua bug spesifik pada komponen server dan antarmuka pengguna. Server sekarang secara benar mengembalikan kode status 400 alih-alih crash dengan error 500 ketika validasi gagal untuk permintaan yang mengandung header X-Conversation-Id. Selain itu, UI tidak lagi mengirim placeholder backend_sampling, yang sebelumnya menyebabkan kegagalan validasi pada penyelesaian pengaturan default.

arxiv arXiv cs.LG · 6 jam lalu

SkewAdam menggunakan keadaan pengoptimum bertingkat untuk mengurangi memori pelatihan MoE sebesar 97%

Para peneliti memperkenalkan SkewAdam, sebuah pengoptimum yang dirancang untuk model campuran-ahli (MoE) yang mengalokasikan jenis keadaan berbeda ke populasi parameter yang berbeda guna secara drastis mengurangi penggunaan memori. Dengan menetapkan momentum float32 dan momen kedua terfaktor pada tulang punggung, momen kedua terfaktor pada ahli, dan momen kedua tepat pada perute, SkewAdam mengurangi keadaan pengoptimum dari 50,6 GB menjadi 1,29 GB untuk model dengan 6,78B parameter.

github llama.cpp · 8 jam lalu

llama.cpp b10078 merestrukturisasi penanganan antrian Vulkan untuk melewati mutex sisi host

Proyek llama.cpp merilis build b10078, yang mencakup restrukturisasi signifikan pada backend Vulkan untuk meningkatkan efisiensi sinkronisasi. Pembaruan ini mengintegrasikan dukungan untuk VK_KHR_internally_synchronized_queues, memungkinkan pustaka mengabstraksi pengiriman antrian ke dalam antarmuka polimorfik yang sepenuhnya melewati penguncian mutex sisi host ketika driver mendukungnya.

github llama.cpp · 15 jam lalu

llama.cpp b10076 memvektorkan get_rows dengan salinan int4 untuk percepatan 27%

Proyek llama.cpp merilis build b10076, yang memperkenalkan optimasi kinerja pada backend CUDA dengan memvektorkan operasi `get_rows` menggunakan salinan int4. Perubahan ini mengangkat pekerjaan invarian baris keluar dari loop per-elemen dan menambahkan jalur tervektorisasi yang menyalin 16 byte per thread untuk data kontigu tipe yang sama.

media Hugging Face Forums · 2 hari lalu · 1 tayangan

Agen suara produksi dengan LLM lokal menghadapi latensi persisten dan batas konteks

Sebuah tim yang menjalankan dua agen suara produksi di Spanyol menggunakan Retell AI, Ollama, dan model lokal pada RTX 4000 Ada melaporkan bahwa meskipun kualitas percakapan membaik, masalah latensi inti tetap belum terpecahkan. Kendala utamanya adalah batas waktu (timeout) sekitar 3 detik dari Retell AI; jika LLM gagal menghasilkan token pertama dalam jendela ini, koneksi akan terputus, menyebabkan panggilan berakhir setelah dua kali reconnect.