github llama.cpp · baru saja · inference

llama.cpp b10642 menambahkan pelacakan ID token ke sel KV

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10642, yang memperkenalkan perubahan untuk melacak ID token di dalam sel kunci-nilai (KV).

Pembaruan inti melibatkan penambahan pelacakan ID token ke implementasi sel KV.
Fungsi `get_prev_tokens` dihapus dari commit spesifik ini dan dipindahkan ke permintaan tarik utama #27762.
Binari disediakan untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), dan openEuler.

Rilis ini menyediakan binari yang diperbarui di berbagai platform dengan modifikasi sel KV internal.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10638 menambahkan Vulkan cross_entropy_loss dan merilis biner

Proyek llama.cpp telah merilis versi b10638, yang mengimplementasikan dukungan Vulkan untuk fungsi `cross_entropy_loss` dan `cross_entropy_loss_back`.

github llama.cpp · 5 jam lalu · 2 tayangan

llama.cpp b10639 memperbaiki asumsi ukuran warptile Vulkan

Proyek llama.cpp merilis build b10639, yang mencakup perbaikan untuk backend Vulkan di mana warptiles sebelumnya mengasumsikan ukuran warp kurang dari atau sama dengan 64. Perubahan ini membatasi ukuran warp untuk mengatasi masalah dengan warp yang lebih besar.

media Hugging Face Forums · 6 jam lalu · 1 tayangan

Celestium Neon memperbaiki OOM SDXL pada GPU 4GB dengan membersihkan VRAM

Celestium Neon adalah alat baru yang dirancang untuk membersihkan VRAM dan memungkinkan inferensi Stable Diffusion XL (SDXL) pada kartu grafis dengan memori hanya 4GB, seperti GTX 1650.

github llama.cpp · 9 jam lalu · 2 tayangan

llama.cpp b10636 menonaktifkan build UI npm secara default dan membersihkan CI

Proyek llama.cpp merilis versi b10636, yang mengubah perilaku default saat membangun antarmuka web. Build UI berbasis npm sekarang dinonaktifkan secara default (LLAMA_BUILD_UI=OFF), dengan UI disematkan dari sumber lokal atau unduhan pra-build.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10635 membuka mmq untuk MoE di sm_60

Proyek llama.cpp merilis versi b10635, yang mencakup pembaruan spesifik untuk dukungan CUDA. Perubahan utamanya adalah pembukaan kembali perkalian matrik presisi campuran (mmq) untuk arsitektur Mixture of Experts (MoE) pada GPU dengan kemampuan komputasi 6.0 (sm_60).