github llama.cpp · 1 jam lalu · inference

mtmd menambahkan dukungan WebP melalui ffmpeg

Diterjemahkan dari English → Bahasa Indonesia

Komponen mtmd di llama.cpp sekarang mendukung format gambar WebP melalui integrasi dengan ffmpeg.

Memungkinkan pemrosesan gambar WebP dalam kerangka kerja mtmd.
Bergantung pada ffmpeg untuk fungsionalitas dekoding.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2

Proyek llama.cpp merilis build b10568, yang memperbarui penanganan model untuk menggunakan fungsi `ggml_rope_set_offset()`. Perubahan ini sebagian diterapkan untuk mendukung DeepSeek 2.

github llama.cpp · 11 jam lalu · 4 tayangan

Rilis llama.cpp v0.2.0 dengan ggml 0.21.0 dan dukungan Kleidiai SME2

Proyek llama.cpp telah merilis versi 0.2.0, yang menyertakan sinkronisasi dengan pustaka ggml yang ditingkatkan ke versi 0.21.0. Pembaruan ini memperkenalkan beberapa peningkatan backend dan fitur baru di berbagai platform perangkat keras.

media Hugging Face Forums · 17 jam lalu · 1 tayangan

Mesin Celestium menambahkan optimasi VRAM dan fallback CPU untuk SDXL

Mesin Celestium telah memperkenalkan beberapa peningkatan untuk meningkatkan kinerja SDXL pada perangkat keras dengan VRAM rendah. Perubahan ini berfokus pada manajemen memori, stabilitas, dan mekanisme fallback untuk memastikan generasi yang konsisten bahkan pada sistem yang terbatas.

github llama.cpp · 20 jam lalu · 2 tayangan

llama.cpp b10549 mengaktifkan pemisahan tensor untuk LFM2/LFM2MOE

Proyek llama.cpp telah merilis versi b10549, yang terutama memperkenalkan dukungan untuk pemisahan tensor pada model LFM2 dan LFM2MOE.

github vLLM · 23 jam lalu · 4 tayangan

vLLM v0.28.0rc2 menambahkan DFlash2 Spec Decode dengan konvolusi lokal dan pemilih kandidat

Proyek vLLM merilis versi 0.28.0rc2, yang mencakup fitur decoding spekulatif DFlash2.