github llama.cpp · baru saja · inference

llama.cpp b10593 memperbaiki rollback DeepseekV4 dan pemuatan model

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10593, yang mengatasi masalah kritis dengan arsitektur model DeepseekV4. Pembaruan ini secara khusus menyelesaikan kegagalan rollback yang terjadi selama pemrosesan multi-sekuens.

Memperbaiki penanganan rollback DeepseekV4 untuk konteks multi-sekuens.
Memperbaiki prosedur pemuatan model umum.
Membuat operasi rollback yang tertunda menjadi satu kali pakai untuk mencegah korupsi state.
Memastikan cache hanya dibersihkan untuk ID sekuens tertentu selama pemuatan penuh.
Menambahkan asersi untuk rasio kompresi dan membuat topologi grafik statis.

Rilis ini meningkatkan stabilitas bagi pengguna yang menjalankan model DeepseekV4 dengan beberapa sekuens. Ini juga menyediakan biner yang diperbarui untuk macOS, Linux, Windows, Android, dan iOS di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, dan Vulkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10584 memperbaiki ukuran konteks draf untuk mencegah kesalahan server 500

Proyek llama.cpp merilis build b10584, mengatasi masalah kritis di mana ukuran konteks draf tidak sesuai dengan konteks target, menyebabkan permintaan server gagal dengan kesalahan 500.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2

Proyek llama.cpp merilis build b10568, yang memperbarui penanganan model untuk menggunakan fungsi `ggml_rope_set_offset()`. Perubahan ini sebagian diterapkan untuk mendukung DeepSeek 2.

media Hugging Face Forums · 2 hari lalu · 1 tayangan

Mesin Celestium menambahkan optimasi VRAM dan fallback CPU untuk SDXL

Mesin Celestium telah memperkenalkan beberapa peningkatan untuk meningkatkan kinerja SDXL pada perangkat keras dengan VRAM rendah. Perubahan ini berfokus pada manajemen memori, stabilitas, dan mekanisme fallback untuk memastikan generasi yang konsisten bahkan pada sistem yang terbatas.

github llama.cpp · 2 hari lalu · 8 tayangan

llama.cpp b10541 menambahkan argumen --mmproj-device untuk proyek multimodal

Proyek llama.cpp merilis build b10541, memperkenalkan argumen baris perintah `--mmproj-device` yang memungkinkan pengguna menentukan backend perangkat untuk memuat file proyeksi multimodal.

github llama.cpp · 2 hari lalu · 2 tayangan

llama.cpp b10545 memperbaiki bacaan di luar batas pada matmul Metal untuk K yang bukan kelipatan 32

Proyek llama.cpp merilis build b10545, yang mengatasi bug kritis pada kernel perkalian matriks API tensor backend Metal. Pembaruan ini mencegah perilaku tak terdefinisi dan hasil yang rusak saat memproses tensor di mana dimensi K bukan kelipatan 32.