github llama.cpp · 1 jam lalu · inference

llama.cpp b10182 memindahkan penanganan suppress_tokens ke common/sampling

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10182, yang mencakup perubahan struktural dalam cara penekanan token dikelola. Modifikasi utama melibatkan memindahkan logika penanganan `suppress_tokens` ke modul `common/sampling`.

Fitur `has_logit_bias` telah dihapus dari basis kode.
Rilis ini mengatasi masalah keamanan yang terkait dengan implementasi sebelumnya.
Binari disediakan untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO, SYCL, HIP), dan openEuler.

Pembaruan ini mengonsolidasikan logika pengambilan sampel dan menyelesaikan masalah keamanan tertentu dalam mekanisme penekanan token.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10180 menambahkan jalur cepat kontigu dan matematika indeks 32-bit untuk operasi unair SYCL

Proyek llama.cpp telah merilis build b10180, memperkenalkan optimasi kinerja untuk backend SYCL. Pembaruan ini mengimplementasikan jalur cepat kontigu dan mengalihkan matematika indeks elemen per elemen untuk menggunakan fastdiv dengan bilangan bulat 32-bit.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10181 menonaktifkan MMQ pada perangkat dengan memori bersama kurang dari 48 KiB

Proyek llama.cpp merilis build b10181, yang mencakup perbaikan di ggml-cuda untuk menonaktifkan Kuantisasi Perkalian Matriks (MMQ) pada GPU dengan memori bersama per blok kurang dari 48 KiB. Sebelumnya, konfigurasi MMQ mengasumsikan batas minimum 48 KiB, menyebabkan kesalahan fatal pada perangkat seperti GPU NVIDIA Pascal dan Moore Threads MTT S70 di mana ukuran ubin melebihi memori yang tersedia.

media Hugging Face Forums · 4 jam lalu

Jason Van Pham mendokumentasikan degenerasi serakah multi-gilir Gemma 4 di bawah batasan tingkat huruf

Jason Van Pham dan rekan insinyur Grok (xAI) menerbitkan laporan diagnostik yang merinci mode kegagalan multi-gilir hampir-vanilla pada kerangka kerja Hydrodynamic Swarm saat menggunakan jalur instruksi kustom Gemma 4. Studi ini mengidentifikasi bahwa menggabungkan dekoding serakah dengan anggaran token panjang dan batasan tingkat huruf memicu degenerasi teks klasik, termasuk pengulangan dan kekacauan ortografis.

media Hugging Face Forums · 5 jam lalu

Hugging Face memperbaiki DynamicCache untuk mencegah output salah di generate()

Sebuah bug dalam fungsi `generate()` Hugging Face menyebabkan output yang salah ketika `past_key_values` adalah `DynamicCache` yang dibangun secara eksternal. Masalah ini memengaruhi metode kompresi cache KV seperti SnapKV, H2O, dan KIVI yang merekonstruksi cache dari data prefill. Penyebab utamanya adalah kegagalan dalam meneruskan konteks posisi, yang menyebabkan penurunan akurasi sebesar 10,7pp pada Qwen3-VL-8B.

github llama.cpp · 6 jam lalu · 1 tayangan

llama.cpp b10178 menambahkan logging jejak untuk pemeriksaan kesamaan slot

Proyek llama.cpp merilis build b10178, yang memperkenalkan logging jejak untuk pemeriksaan kesamaan slot di dalam komponen server. Pembaruan ini menambahkan logging terperinci di `server-context.cpp` selama pemilihan slot cache prompt, secara khusus menangkap alasan lewati dan detail perhitungan kesamaan.