github llama.cpp · 1 jam lalu · inference

llama.cpp b10635 membuka mmq untuk MoE di sm_60

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10635, yang mencakup pembaruan spesifik untuk dukungan CUDA. Perubahan utamanya adalah pembukaan kembali perkalian matrik presisi campuran (mmq) untuk arsitektur Mixture of Experts (MoE) pada GPU dengan kemampuan komputasi 6.0 (sm_60).

CUDA: mmq dibuka untuk MoE di sm_60.
CUDA: mmq-config-pascal diduplikasi untuk dp4a dan arsitektur yang lebih lama.
CUDA: Pengurangan okupansi pada GPU Pascal non-dp4a untuk format kuantisasi Q2_K, Q4_K, Q5_K, dan Q6_K.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10636 menonaktifkan build UI npm secara default dan membersihkan CI

Proyek llama.cpp merilis versi b10636, yang mengubah perilaku default saat membangun antarmuka web. Build UI berbasis npm sekarang dinonaktifkan secara default (LLAMA_BUILD_UI=OFF), dengan UI disematkan dari sumber lokal atau unduhan pra-build.

github llama.cpp · 2 hari lalu · 11 tayangan

llama.cpp b10604 menambahkan dukungan format DSV4 Deepseek 4 dan biner untuk macOS/iOS

Proyek llama.cpp telah merilis versi b10604, memperkenalkan dukungan untuk format model Deepseek 4 (DSV4) bersama dengan biner pra-kompilasi baru untuk macOS dan iOS.

github llama.cpp · 3 hari lalu · 5 tayangan

llama.cpp b10598 menggunakan algoritma resize pillow-accurate dan memperbaiki resize_algo untuk semua model

Proyek llama.cpp merilis build b10598, yang memperbarui modul mtmd untuk menggunakan algoritma resize pillow-accurate dan memperbaiki resize_algo untuk semua model. Rilis ini juga mencakup optimasi kecepatan.

github llama.cpp · 3 hari lalu · 5 tayangan

llama.cpp b10593 memperbaiki rollback DeepseekV4 dan pemuatan model

Proyek llama.cpp telah merilis build b10593, yang mengatasi masalah kritis dengan arsitektur model DeepseekV4. Pembaruan ini secara khusus menyelesaikan kegagalan rollback yang terjadi selama pemrosesan multi-sekuens.

github llama.cpp · 4 hari lalu · 4 tayangan

llama.cpp b10584 memperbaiki ukuran konteks draf untuk mencegah kesalahan server 500

Proyek llama.cpp merilis build b10584, mengatasi masalah kritis di mana ukuran konteks draf tidak sesuai dengan konteks target, menyebabkan permintaan server gagal dengan kesalahan 500.