github llama.cpp · 2 hari lalu · inference

llama.cpp b11077 memperbaiki penerusan kunci API router ke instans anak

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11077 mengatasi bug dalam mode router di mana argumen `--api-key-file` diteruskan secara tidak benar ke instans anak yang dibuat oleh router. Hal ini menyebabkan klien yang menggunakan `--api-key` menerima error 401 pada penyelesaian chat dan mencegah panggilan stream internal router berfungsi.

Mengatur `LLAMA_ARG_API_KEY_FILE` menjadi tidak ditetapkan di `unset_reserved_args()` sehingga tidak ada kunci API yang mencapai instans anak.
Memastikan semua kunci yang diterima router berfungsi dari ujung ke ujung tanpa validasi ulang terhadap kunci file.
Mencegah panggilan stream internal router, seperti POST /v1/streams/lookup dan DELETE /v1/stream, ditolak secara diam-diam dengan error 401.

Perbaikan ini menyelesaikan masalah #28820 dengan memastikan autentikasi tetap menjadi tanggung jawab router daripada proses anak.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 1 jam lalu · 11 tayangan Langsung

llama.cpp b11120 menyembunyikan simbol internal Vulkan untuk memperbaiki penghancuran state

Proyek llama.cpp merilis versi b11120, yang mengatasi bug kritis pada backend Vulkan dengan menyembunyikan simbol internal. Perubahan ini mencegah masalah penghancuran state akibat duplicate-dlopen yang terjadi ketika simbol internal diekspor.

arxiv arXiv cs.AI · 4 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman sebesar 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.

arxiv arXiv cs.LG · 5 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman jangka panjang hingga 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.

github llama.cpp · 6 jam lalu · 13 tayangan

llama.cpp b11118 memperkenalkan direktori DMA terpetakan langsung untuk penanganan mask FA HVX

Proyek llama.cpp telah merilis build b11118, yang mencakup fitur hex-dma baru yang memperkenalkan direktori DMA terpetakan langsung lebih cocok untuk penanganan mask FA Hexagon Vector eXtended (HVX).