media Hugging Face Forums · baru saja · sumber: 2 hari lalu · open_models

Pipeline Celestium memungkinkan SDXL pada GPU 4GB-8GB melalui FP16 adaptif dan fallback CPU

Diterjemahkan dari English → Bahasa Indonesia

Sebuah diagnostik menggunakan pipeline inferensi agnostik-hardware dari Celestium menunjukkan bahwa Stable Diffusion XL dapat berjalan stabil pada GPU dengan VRAM rendah (4GB, 6GB, dan 8GB) dengan memanfaatkan presisi FP16 adaptif dan pembersihan memori otomatis. Pendekatan ini mencegah lonjakan fragmentasi selama pipeline multi-tahap dan menggunakan mode CPU darurat untuk mempertahankan generasi ketika VRAM GPU habis.

SDXL Base + Refiner berjalan pada GPU 8GB, sedangkan hanya SDXL Base yang direkomendasikan untuk kartu 4GB.
Presisi FP16 adaptif mengurangi beban VRAM, dan BuffaloCore secara dinamis mengubah ukuran tensor untuk menghindari overflow.
RealESRGANx2 menambah overhead minimal bahkan pada GPU 4GB, dan sistem ini tidak memerlukan dependensi cloud atau CUDA.

Metode ini memungkinkan SDXL berjalan secara offline dan lokal tanpa crash pada perangkat konsumen yang biasanya kesulitan dengan persyaratan memori model tersebut.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Local inference

Baca aslinya

Model MoE G9v3-39A5B menunjukkan hasil kuat di artificialanalysis

Model G9v3-39A5B menarik perhatian karena performanya di artificialanalysis, di mana dilaporkan berada di atas Qwen 3.6 27B.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b10505 menambahkan opsi preset dedup-cache-models

Proyek llama.cpp telah merilis versi b10505, yang memperkenalkan opsi preset `dedup-cache-models` baru untuk komponen server.

media Hugging Face Forums · 2 hari lalu · 3 tayangan

Kuantisasi Cache KV Magnitudo Fourier menggandakan panjang konteks dengan memori yang sama

ntrillard menunjukkan bahwa mengkuantisasi spektrum magnitudo Fourier dari nilai cache K dan V ke 4-bit sambil mempertahankan fase pada presisi penuh mencapai pencocokan token sebesar 96,9% dengan referensi fp16 pada Gemma-3-1B, peningkatan 5-10 kali lipat dibandingkan kuantisasi min-max standar.

github llama.cpp · 5 hari lalu · 26 tayangan

llama.cpp menambahkan dukungan model Kimi-K3 dengan repacking MXFP4 dan template obrolan

Proyek llama.cpp telah menambahkan dukungan untuk model teks Kimi-K3, mengimplementasikan arsitektur perhatian hibrida KDA (linear) + MLA (penuh) bersama dengan lima fitur arsitektur spesifik yang tidak ada pada Kimi-Linear-48B yang lebih lama.

github llama.cpp · 5 hari lalu · 21 tayangan

llama.cpp b10447 mendesain ulang model utas yield_to_queue

Proyek llama.cpp telah merilis build b10447, yang mencakup desain ulang model utas `yield_to_queue`. Perubahan ini melibatkan menjalankan `common_speculative_process` di worker dan menukar desain utas worker ke utama.