github llama.cpp · 1 jam lalu · inference

llama.cpp b10549 mengaktifkan pemisahan tensor untuk LFM2/LFM2MOE

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10549, yang terutama memperkenalkan dukungan untuk pemisahan tensor pada model LFM2 dan LFM2MOE.

Pembaruan ini mencakup biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x dengan backend CPU, Vulkan, OpenVINO, dan SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm), dan Android.
Dukungan iOS disediakan melalui XCFramework.
Build openEuler tersedia untuk arsitektur x86 dan aarch64 menggunakan ACL Graph.

Rilis ini menyediakan biner yang diperbarui di berbagai platform untuk memfasilitasi menjalankan model LFM2/LFM2MOE dengan kemampuan pemisahan tensor baru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

vLLM v0.28.0rc2 menambahkan DFlash2 Spec Decode dengan konvolusi lokal dan pemilih kandidat

Proyek vLLM merilis versi 0.28.0rc2, yang mencakup fitur decoding spekulatif DFlash2.

github llama.cpp · 6 jam lalu · 2 tayangan

llama.cpp b10539 memperbaiki overflow Vulkan FA MMQ dan menambahkan dukungan CUDA 13 untuk Windows

Proyek llama.cpp telah merilis versi b10539, yang mengatasi masalah stabilitas numerik kritis di backend Vulkan sambil memperluas dukungan perangkat keras untuk pengguna Windows.

github llama.cpp · 6 jam lalu · 1 tayangan

llama.cpp b10541 menambahkan argumen --mmproj-device untuk proyek multimodal

Proyek llama.cpp merilis build b10541, memperkenalkan argumen baris perintah `--mmproj-device` yang memungkinkan pengguna menentukan backend perangkat untuk memuat file proyeksi multimodal.

github llama.cpp · 7 jam lalu · 1 tayangan

llama.cpp b10545 memperbaiki bacaan di luar batas pada matmul Metal untuk K yang bukan kelipatan 32

Proyek llama.cpp merilis build b10545, yang mengatasi bug kritis pada kernel perkalian matriks API tensor backend Metal. Pembaruan ini mencegah perilaku tak terdefinisi dan hasil yang rusak saat memproses tensor di mana dimensi K bukan kelipatan 32.

github llama.cpp · 7 jam lalu · 1 tayangan

llama.cpp b10534 menambahkan titik sakelar per-HW CUDA untuk decode lebih cepat

Proyek llama.cpp merilis build b10534, yang memperkenalkan titik sakelar spesifik perangkat keras untuk menyetel crossover antara jalur vektor dan inti tensor selama decoding terkuantisasi pada CUDA.