github llama.cpp · 11 jam lalu · inference

llama.cpp b11273 menambahkan dukungan classifier_pooling untuk reranker ModernBERT

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11273, yang memperkenalkan dukungan untuk metode `classifier_pooling` pada model reranking, khususnya menargetkan arsitektur ModernBERT.

Pembaruan ini memodifikasi `load_hparams` untuk membaca jenis pooling klasifikasi dari konfigurasi model.
Logika konversi kini membatasi nilai `classifier_pooling` yang diterima hanya menjadi 'cls' dan 'mean'.
Nama parameter internal `classifier_pooling_type` diubah menjadi `pooling_type_cls` agar lebih jelas.
Model ModernBERT akan kembali ke mean pooling jika jenis spesifiknya tidak ditentukan secara eksplisit dalam konfigurasi.

Perubahan ini memungkinkan pengguna untuk memuat dan memanfaatkan reranker ModernBERT dengan benar di dalam llama.cpp dengan menghormati persyaratan pooling spesifik mereka.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

ThermaCompute AI merilis CrashLens untuk triase log crash GPU lokal

ThermaCompute AI telah merilis CrashLens, alat gratis dan lokal yang dirancang untuk membantu insinyur menyelidiki crash GPU dengan menganalisis file log. Alat ini mengidentifikasi pola kegagalan yang diketahui dalam log dan menyarankan langkah selanjutnya yang spesifik untuk penyelidikan.

github llama.cpp · 6 jam lalu · 2 tayangan

llama.cpp b11284 memperbaiki GET_ROWS OpenVINO pada tampilan bobot terkuantisasi

Proyek llama.cpp merilis build b11284, yang mencakup perbaikan untuk backend OpenVINO agar dapat menangani operasi GET_ROWS dengan benar pada tampilan bobot terkuantisasi.

github llama.cpp · 8 jam lalu · 1 tayangan

Rilis llama.cpp b11280 mengurangi sinkronisasi allreduce tensor dengan buffer host yang dipin

Proyek llama.cpp telah merilis versi b11280, yang mencakup perubahan untuk mengurangi sinkronisasi allreduce tensor dengan memanfaatkan buffer host yang dipin.

github llama.cpp · 8 jam lalu · 1 tayangan

llama.cpp b11282 mendefinisikan CUDA_ARCH untuk terusan perangkat MUSA

Proyek llama.cpp merilis build b11282, yang mencakup perbaikan untuk mendefinisikan makro `CUDA_ARCH` untuk terusan perangkat MUSA. Sebelumnya, header vendor MUSA gagal mendefinisikan variabel ini, menyebabkan tes arsitektur dalam sumber ggml-cuda bersama dievaluasi ke nol dan menghasilkan tubuh kernel kosong.

github llama.cpp · 9 jam lalu · 2 tayangan

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.