media r/LocalLLaMA · 1 jam lalu · open_models

Model MoE G9v3-39A5B menunjukkan hasil kuat di artificialanalysis

Diterjemahkan dari English → Bahasa Indonesia

Model G9v3-39A5B menarik perhatian karena performanya di artificialanalysis, di mana dilaporkan berada di atas Qwen 3.6 27B.

Ini adalah arsitektur Mixture of Experts (MoE).
Terdapat cabang fitur llama.cpp untuk mendukung format G9v3.
Cekpoint GGUF tersedia melalui Hugging Face.

Kepentingan 2/3 r/LocalLLaMA Inference efficiency Local inference

Baca aslinya

Pipeline Celestium memungkinkan SDXL pada GPU 4GB-8GB melalui FP16 adaptif dan fallback CPU

Sebuah diagnostik menggunakan pipeline inferensi agnostik-hardware dari Celestium menunjukkan bahwa Stable Diffusion XL dapat berjalan stabil pada GPU dengan VRAM rendah (4GB, 6GB, dan 8GB) dengan memanfaatkan presisi FP16 adaptif dan pembersihan memori otomatis. Pendekatan ini mencegah lonjakan fragmentasi selama pipeline multi-tahap dan menggunakan mode CPU darurat untuk mempertahankan generasi ketika VRAM GPU habis.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10505 menambahkan opsi preset dedup-cache-models

Proyek llama.cpp telah merilis versi b10505, yang memperkenalkan opsi preset `dedup-cache-models` baru untuk komponen server.

media Hugging Face Forums · 2 hari lalu · 3 tayangan

Kuantisasi Cache KV Magnitudo Fourier menggandakan panjang konteks dengan memori yang sama

ntrillard menunjukkan bahwa mengkuantisasi spektrum magnitudo Fourier dari nilai cache K dan V ke 4-bit sambil mempertahankan fase pada presisi penuh mencapai pencocokan token sebesar 96,9% dengan referensi fp16 pada Gemma-3-1B, peningkatan 5-10 kali lipat dibandingkan kuantisasi min-max standar.

github llama.cpp · 5 hari lalu · 26 tayangan

llama.cpp menambahkan dukungan model Kimi-K3 dengan repacking MXFP4 dan template obrolan

Proyek llama.cpp telah menambahkan dukungan untuk model teks Kimi-K3, mengimplementasikan arsitektur perhatian hibrida KDA (linear) + MLA (penuh) bersama dengan lima fitur arsitektur spesifik yang tidak ada pada Kimi-Linear-48B yang lebih lama.

github llama.cpp · 5 hari lalu · 21 tayangan

llama.cpp b10447 mendesain ulang model utas yield_to_queue

Proyek llama.cpp telah merilis build b10447, yang mencakup desain ulang model utas `yield_to_queue`. Perubahan ini melibatkan menjalankan `common_speculative_process` di worker dan menukar desain utas worker ke utama.