github llama.cpp · 1 hari lalu · inference

llama.cpp b10355 menambahkan pengambilan sampel backend multi-output dengan spekulasi token

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10355, memperkenalkan dukungan untuk pengambilan sampel backend multi-output. Pembaruan ini memungkinkan pengambilan sampel backend dikombinasikan dengan spekulasi token dan menambahkan parameter konteks numerik untuk mendeklarasikan jumlah output maksimum per sekuens.

Aktifkan pengambilan sampel backend dengan spekulasi token
Clamp jumlah mask sebelum mengubahnya menjadi indeks yang diambil sampelnya
Tambahkan parameter konteks numerik yang mendeklarasikan output maksimum satu sekuens
Perbaiki ketidakcocokan antara pengambilan sampel CPU dan backend, serta samakan dist antara CPU dan GPU
Sederhanakan perubahan dan perbaiki tes pada Vulkan

Rilis ini menyediakan biner untuk macOS, iOS, Linux, Android, Windows, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, OpenVINO, SYCL, HIP, dan Vulkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10361 memperbaiki SWA untuk EXAONE 4.5 dan melewatkan TENSOR_SKIP di jalur metadata

Rilis llama.cpp b10361 mengatasi bug kritis di mana Sliding Window Attention (SWA) tidak diaktifkan untuk model LGAI-EXAONE 4.5 karena urutan parameter yang salah saat pemuatan.

lab Hugging Face Blog · 11 jam lalu

ALTK-Evolve mencapai akurasi yang sama atau lebih baik daripada ACE dengan biaya inferensi jauh lebih rendah

ALTK-Evolve, sebuah sistem untuk memori agentic yang mengubah lintasan agen menjadi panduan yang dapat digunakan kembali tanpa pembaruan bobot, menyamai atau melampaui akurasi ACE sambil menggunakan token secara signifikan lebih sedikit. Berbeda dengan ACE yang menyuntikkan panduan komprehensif pada setiap langkah, ALTK-Evolve menggunakan pengambilan selektif untuk memberikan hanya panduan yang relevan berdasarkan kapasitas model.

github vLLM · 14 jam lalu

vLLM v0.27.1 menambahkan dukungan untuk kepala DSpark Markov terkuantisasi

vLLM telah merilis versi 0.27.1, sebuah pembaruan patch yang dibangun di atas rilis sebelumnya v0.27.0.

lab NVIDIA Research · 15 jam lalu · 10 tayangan

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.

media MarkTechPost · 16 jam lalu · 1 tayangan

webAI merilis TwIL-LM, keluarga model logika formal berukuran 1,7B dan 3B untuk autoformalisasi lokal

webAI telah merilis TwIL-LM, sebuah keluarga dua model penalar logika formal dengan parameter 1,7B dan 3B yang dirancang untuk autoformalisasi pada perangkat keras lokal. Model-model ini menerjemahkan bahasa Inggris ke dalam logika orde pertama dan memeriksa validitas kesimpulan, dengan varian 3B mencapai skor gerbang makro sebesar 0,4218 pada tugas logika formal dalam domain.