Local inference — korshunov.ai

Topik · Local inference

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10751 menggabungkan reduksi ahli berbobot MoE untuk CUDA

Proyek llama.cpp merilis build b10751, yang memperkenalkan kernel terintegrasi untuk reduksi ahli berbobot MoE (Mixture of Experts) pada CUDA. Optimisasi ini mengganti baseline sebelumnya yang menjalankan dua kernel fisik dengan satu kernel reduksi berbobot untuk mengurangi lalu lintas memori global antar perantara.

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp b10750 mengoptimalkan pencarian n-gram cache KV untuk peningkatan throughput 4,9%

Proyek llama.cpp merilis build b10750, yang melakukan refactor manajemen sel kunci-nilai untuk meningkatkan pengindeksan posisi urutan dan pencarian riwayat n-gram.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b10742 menambahkan penyetelan fa-vec untuk A18 Pro

Proyek llama.cpp telah merilis versi b10742, yang mencakup fitur baru yang menambahkan penyetelan vektor cepat (fa-vec) secara khusus untuk chip Apple A18 Pro yang ditemukan di MacBook Neo.

github llama.cpp · 8 jam lalu · 1 tayangan

llama.cpp b10739 menambahkan penyetelan fa-vec untuk M2 Max

Proyek llama.cpp telah merilis versi b10739, yang mencakup optimasi kinerja spesifik untuk perangkat keras Apple M2 Max. Pembaruan ini memperkenalkan penyetelan vektor perhatian cepat (fa-vec) yang disesuaikan dengan 30 inti GPU dari M2 Max.

lab Hugging Face Blog · 8 jam lalu · 3 tayangan

Hugging Face merilis 207 kernel WebGPU dan alat benchmarking browser

Hugging Face telah merilis @huggingface/kernels, sebuah pustaka untuk memuat dan menjalankan kernel WebGPU yang dioptimalkan dari Hugging Face Hub, bersama dengan koleksi awal berisi 207 kernel. Rilis ini juga memperkenalkan Fleet, sebuah suite benchmark GPU di browser yang mengumpulkan bukti kinerja dan kebenaran dari perangkat pengguna.

github llama.cpp · 12 jam lalu · 1 tayangan

llama.cpp b10734 mengaktifkan API tensor Metal 4.0 pada M5+/A19+

Proyek llama.cpp merilis versi b10734, yang mencakup pembaruan untuk mengaktifkan API tensor Metal 4.0 untuk perangkat dengan chip M5+ atau A19+.

media r/LocalLLaMA · 17 jam lalu · 1 tayangan

ExLlamaV3 menambahkan offload CPU untuk ahli MoE dan model GLM-5.3-Flash, Qwen3.8-Flash baru

Turboderp telah merilis pembaruan signifikan untuk ExLlamaV3, memperkenalkan kemampuan offload CPU untuk ahli Mixture of Experts (MoE). Pembaruan ini juga mencakup dukungan untuk model GLM-5.3-Flash dan Qwen3.8-Flash yang baru dirilis.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b10724 mengoptimalkan pemulihan keadaan kv-cache untuk mengurangi jumlah salinan dari 1.3M menjadi 224

Proyek llama.cpp merilis build b10724, yang secara signifikan meningkatkan kinerja pemulihan sel KV cache non-kontigu dengan melakukan batching bacaan scatter per jalankanan kontinu.

github llama.cpp · 1 hari lalu · 4 tayangan

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

Proyek llama.cpp telah merilis build b10721, yang mencakup perbaikan kritis untuk backend WebGPU dan memperluas dukungan perangkat keras di Windows.

github llama.cpp · 1 hari lalu · 9 tayangan

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10715 menggabungkan encoder DFlash ke dalam injeksi cache KV

Proyek llama.cpp merilis build b10715, yang mencakup optimasi kunci pada implementasi DFlash. Encoder DFlash sekarang digabungkan langsung ke dalam proses injeksi cache KV selama decoding.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10714 menyetel baris mat-vec Vulkan untuk Strix Halo

Proyek llama.cpp merilis build b10714, yang mencakup optimasi khusus untuk backend Vulkan yang menargetkan perangkat keras AMD Strix Halo. Pembaruan ini menyesuaikan jumlah baris perkalian matriks-vektor untuk meningkatkan kinerja selama inferensi batch.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10706 menambahkan dukungan SWIGLU_CLAMP dan shader Vulkan

Proyek llama.cpp telah merilis build b10706, memperkenalkan fungsionalitas baru ke backend ggml. Pembaruan ini mencakup penambahan SWIGLU_CLAMP dan implementasi shader Vulkan baru.

github llama.cpp · 2 hari lalu · 11 tayangan

llama.cpp b10707 mengoptimalkan pemindaian sel cache KV untuk generasi yang lebih cepat

Proyek llama.cpp merilis versi b10707, yang mencakup optimasi kinerja pada penanganan cache nilai-kunci (KV). Pembaruan ini memodifikasi fungsi `for_each_token_in` untuk menghentikan pemindaian begitu semua sekuens dalam sel tertentu telah dilihat, alih-alih mengiterasi melalui semua sekuens maksimum yang mungkin.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp b10688 menambahkan penyetelan fa-vec untuk M2

Proyek llama.cpp telah merilis build b10688, yang mencakup permintaan tarik (pull request) yang menambahkan penyetelan vektor cepat (fa-vec) untuk arsitektur M2.

github llama.cpp · 3 hari lalu · 8 tayangan

llama.cpp mengaktifkan GEMM xmem dan melewati tiled f32 pada GPU Adreno

Proyek llama.cpp telah memperbarui backend OpenCL-nya untuk meningkatkan kinerja perkalian matriks pada dua generasi GPU Adreno. Perubahan ini terutama menargetkan generasi X2E dengan secara default menggunakan jalur GEMM xmem F16xF32 dan mengoptimalkan penanganan untuk generasi A7X.

github llama.cpp · 3 hari lalu · 7 tayangan

llama.cpp b10684 meningkatkan akuntansi VRAM --fit untuk SYCL

Proyek llama.cpp merilis versi b10684, yang mencakup perbaikan khusus untuk backend SYCL agar flag `--fit` lebih akurat menghormati `--fit-target`.

github llama.cpp · 4 hari lalu · 10 tayangan

llama.cpp b10670 mengarahkan decode KV terkuantisasi ke TILE pada Xe2 (BMG)

Proyek llama.cpp merilis versi b10670, yang mencakup optimasi khusus untuk arsitektur Xe2 Intel. Pembaruan ini mengarahkan operasi decode kunci-nilai (KV) terkuantisasi secara eksklusif ke backend TILE untuk perangkat keras BMG, sambil mempertahankan backend VEC pada arsitektur lain hingga divalidasi.

github llama.cpp · 4 hari lalu · 6 tayangan

llama.cpp b10669 mengikat cache KV f16 di tempat untuk jalur SDPA oneDNN

Proyek llama.cpp merilis versi b10669, yang mencakup optimasi kinerja untuk jalur SDPA oneDNN dengan mengikat cache KV f16 di tempat.

github llama.cpp · 5 hari lalu · 7 tayangan

llama.cpp b10666 memperbaiki pengujian simpan/muat keadaan dan salinan sekuens di perangkat

Rilis llama.cpp b10666 memperluas suite test-save-load-state untuk berjalan di semua arsitektur dan menyelesaikan beberapa bug kritis dalam manajemen keadaan dan penanganan grafik. Perubahan utama meliputi perbaikan referensi menggantung pada minimax-01, penyelarasan penyalinan chunk untuk sekuens on-device, serta koreksi jumlah kepala indexer untuk deepseek4.