github llama.cpp · 3 jam lalu · inference

llama.cpp b10997 memperluas heuristik ubin MoE untuk RDNA3.5

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10997, yang mencakup perubahan pada heuristik ubin ncols_opt Mixture of Experts (MoE) untuk mendukung arsitektur RDNA3.5.

Kode di ggml/src/ggml-cuda/mmq.cu diperbarui untuk menyertakan RDNA3.5 dalam pemeriksaan kondisi.
Uji kinerja pada AMD Radeon 8060S menunjukkan percepatan +16.198% untuk LFM2.5-8B-A1B-UD-Q4_K_M dan +6.189% untuk Qwen1.5-MoE-A2.7B-Q2_K.
Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, CUDA, ROCm, Vulkan, OpenVINO, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

llama.cpp b10994 memperbaiki NaN Metal di mul_mm_id untuk aktivasi besar

Rilis llama.cpp b10994 menyertakan perbaikan untuk backend Metal yang menyelesaikan keluaran NaN dalam operasi `mul_mm_id` ketika nilai aktivasi melebihi rentang f16. Cacat ini sebelumnya menyebabkan model seperti Mistral Small 4 menghasilkan kosakata sepenuhnya NaN selama langkah prefill 32 token atau lebih pada perangkat Apple Silicon.

media Hugging Face Forums · 2 hari lalu · 5 tayangan

MOLT mencapai penyetelan halus QLoRA Qwen 1.5B 23% lebih cepat daripada Unsloth pada RTX 4060 Laptop

Penulis telah membangun MOLT, runtime yang mengutamakan Windows untuk penyetelan halus QLoRA yang sadar termal pada GPU konsumen NVIDIA, dan melakukan benchmarking terhadap Unsloth menggunakan satu juta target pelatihan Qwen 1.5B pada GPU RTX 4060 Laptop.

media r/LocalLLaMA · 4 hari lalu · 7 tayangan

Kode kustom membuat DeepSeek V4.1 berjalan lebih cepat daripada API resmi di GPU A100

Seorang pengguna telah mengembangkan implementasi kustom yang memungkinkan model DeepSeek V4.1 berjalan di GPU NVIDIA A100 dengan kinerja yang melebihi API resmi.

media Hugging Face Forums · 4 hari lalu · 3 tayangan

Proposal untuk runtime AI netral vendor dengan eksekusi sadar anggaran memori

Sebuah proposal di forum Hugging Face menguraikan lapisan eksekusi GPU dan manajemen memori bersama yang dirancang untuk memisahkan kode aplikasi dari vendor perangkat keras tertentu seperti NVIDIA, AMD, dan Intel. Tujuannya adalah memungkinkan pengguna menentukan anggaran memori daripada secara manual mengonfigurasi flag khusus backend, peta perangkat, atau strategi offloading.

lab NVIDIA Research · 5 hari lalu · 6 tayangan

Onyx mencapai biaya lebih rendah 1,7-9,9x dan latensi lebih rendah 2,3-12,3x untuk pencarian ANN disk-oblivious

Peneliti mengusulkan Onyx, pendekatan hemat biaya untuk pencarian tetangga terdekat aproksimasi (ANN) disk-oblivious yang menyeimbangkan bandwidth dan jumlah akses dengan membalik desain sistem ORAM-ANN terkini.