github llama.cpp · baru saja · inference

llama.cpp b10514 menambahkan dukungan konversi untuk model GraniteSWA dan GraniteMoeSWA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10514, yang memperkenalkan infrastruktur konversi untuk arsitektur IBM's GraniteSWAForCausalLM dan GraniteMoeSWAForCausalLM. Pembaruan ini memungkinkan pengguna mengonversi tipe model spesifik ini ke format GGUF untuk digunakan dengan llama.cpp.

Ditambahkan dukungan feat(convert) untuk GraniteSWAForCausalLM dan GraniteMoeSWAForCausalLM.
Diimplementasikan infrastruktur konversi untuk array rope_pattern dan penentuan rope per-layer.
Diperbaiki logika pola SWA untuk mendukung layer non-rope dan diperbaiki penamaan untuk ffn gate inp.
Diperbarui llama_hparams dengan konstanta has_rope dan dihapus fallbacks rope_finetuned yang hacky.
Disertakan biner untuk macOS, Linux, Windows, dan Android melalui CPU, CUDA, Vulkan, OpenCL, dan backend lainnya.

Rilis ini memungkinkan ekosistem llama.cpp mendukung secara native model IBM's sliding window attention, memperluas rentang arsitektur kompatibel yang tersedia untuk inferensi lokal.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp IBM Inference efficiency

Baca aslinya

Pengukuran menunjukkan perlunya meninjau ulang q_proj/v_proj default untuk modul target LoRA

Penulis mengukur tumpang tindih subruang gradien pada empat model untuk mengevaluasi default LoRA standar yang menargetkan proyeksi kueri dan nilai. Analisis menunjukkan bahwa default ini mungkin tidak optimal ketika tujuannya adalah mempertahankan kemampuan sebelumnya daripada memaksimalkan akurasi pada tugas baru.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b10509 menambahkan dukungan ggml_rope_set_offset untuk Metal, CUDA, dan Vulkan

Proyek llama.cpp merilis build b10509, yang memperkenalkan dukungan untuk fungsi `ggml_rope_set_offset` di berbagai backend perangkat keras. Pembaruan ini mencakup implementasi CPU, Metal, CUDA, dan Vulkan untuk operasi baru.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b10505 menambahkan opsi preset dedup-cache-models

Proyek llama.cpp telah merilis versi b10505, yang memperkenalkan opsi preset `dedup-cache-models` baru untuk komponen server.

lab Liquid AI · 21 jam lalu · 1 tayangan

Checkpoints LFM2.5 Q4_0 menggunakan Distilasi Sadar Kuantisasi untuk memulihkan 97% akurasi BF16

Tim LFM2.5 telah merilis pembaruan checkpoint GGUF 4-bit untuk model LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, dan LFM2.5-2.6B, yang dilatih menggunakan Distilasi Sadar Kuantisasi (QAD). Teknik ini mendistilasi model guru presisi tinggi ke dalam model murid terkuantisasi untuk memulihkan akurasi yang hilang selama kuantisasi standar.

lab Hugging Face Blog · 22 jam lalu · 2 tayangan

Liquid AI merilis checkpoint LFM2.5 Q4_0 melalui Distilasi Sadar Kuantisasi

Liquid AI telah merilis checkpoint GGUF Q4_0 untuk keluarga model LFM2.5-nya, memanfaatkan metode pelatihan baru yang disebut Distilasi Sadar Kuantisasi (QAD). Pendekatan ini mendistilasi model guru presisi tinggi ke dalam model siswa terkuantisasi untuk memulihkan akurasi yang hilang selama kuantisasi pasca-pelatihan standar.