github llama.cpp · 1 jam lalu · inference

llama.cpp b10080 memperbaiki crash server dan error validasi UI

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10080 mengatasi dua bug spesifik pada komponen server dan antarmuka pengguna. Server sekarang secara benar mengembalikan kode status 400 alih-alih crash dengan error 500 ketika validasi gagal untuk permintaan yang mengandung header X-Conversation-Id. Selain itu, UI tidak lagi mengirim placeholder backend_sampling, yang sebelumnya menyebabkan kegagalan validasi pada penyelesaian pengaturan default.

Server: Memperbaiki crash std::bad_function_call dengan menangani next_orig kosong di on_complete() saat set_next() dilewati selama error validasi.
Server: Menghapus sesi yang dipasang oleh set_req() untuk permintaan yang gagal guna mencegah kebocoran sumber daya dan masalah penemuan.
UI: Melindungi field backend_sampling dengan hasValue() untuk memfilter placeholder string kosong sambil mempertahankan nilai false eksplisit.

Perubahan ini meningkatkan stabilitas dengan mencegah crash server pada input tidak valid dan memastikan bahwa pengaturan default ditransmisikan dengan benar dari klien.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Artikel terkait

github llama.cpp · baru saja Langsung

llama.cpp b10081 menyelesaikan repo draf ke sidecar yang diminta

Rilis llama.cpp b10081 memperbaiki bug di mana flag `--hfd` menunjuk ke repositori yang berisi sidecar spekulatif, tetapi rencana draf salah diselesaikan ke model utama alih-alih sidecar. Ini terjadi karena `find_best_model()` mengecualikan file sidecar dan rencana draf eksplisit menekan penemuan sidecar.

arxiv arXiv cs.LG · 5 jam lalu

SkewAdam menggunakan keadaan pengoptimum bertingkat untuk mengurangi memori pelatihan MoE sebesar 97%

Para peneliti memperkenalkan SkewAdam, sebuah pengoptimum yang dirancang untuk model campuran-ahli (MoE) yang mengalokasikan jenis keadaan berbeda ke populasi parameter yang berbeda guna secara drastis mengurangi penggunaan memori. Dengan menetapkan momentum float32 dan momen kedua terfaktor pada tulang punggung, momen kedua terfaktor pada ahli, dan momen kedua tepat pada perute, SkewAdam mengurangi keadaan pengoptimum dari 50,6 GB menjadi 1,29 GB untuk model dengan 6,78B parameter.

github llama.cpp · 7 jam lalu

llama.cpp b10078 merestrukturisasi penanganan antrian Vulkan untuk melewati mutex sisi host

Proyek llama.cpp merilis build b10078, yang mencakup restrukturisasi signifikan pada backend Vulkan untuk meningkatkan efisiensi sinkronisasi. Pembaruan ini mengintegrasikan dukungan untuk VK_KHR_internally_synchronized_queues, memungkinkan pustaka mengabstraksi pengiriman antrian ke dalam antarmuka polimorfik yang sepenuhnya melewati penguncian mutex sisi host ketika driver mendukungnya.

github llama.cpp · 14 jam lalu

llama.cpp b10076 memvektorkan get_rows dengan salinan int4 untuk percepatan 27%

Proyek llama.cpp merilis build b10076, yang memperkenalkan optimasi kinerja pada backend CUDA dengan memvektorkan operasi `get_rows` menggunakan salinan int4. Perubahan ini mengangkat pekerjaan invarian baris keluar dari loop per-elemen dan menambahkan jalur tervektorisasi yang menyalin 16 byte per thread untuk data kontigu tipe yang sama.

media Hugging Face Forums · 2 hari lalu · 1 tayangan

Agen suara produksi dengan LLM lokal menghadapi latensi persisten dan batas konteks

Sebuah tim yang menjalankan dua agen suara produksi di Spanyol menggunakan Retell AI, Ollama, dan model lokal pada RTX 4000 Ada melaporkan bahwa meskipun kualitas percakapan membaik, masalah latensi inti tetap belum terpecahkan. Kendala utamanya adalah batas waktu (timeout) sekitar 3 detik dari Retell AI; jika LLM gagal menghasilkan token pertama dalam jendela ini, koneksi akan terputus, menyebabkan panggilan berakhir setelah dua kali reconnect.