github llama.cpp · 22 jam lalu · inference

llama.cpp b10356 memperbarui ROCm ke 7.14 dan menambahkan dukungan CUDA 13 untuk Windows

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10356, yang terutama menargetkan infrastruktur build dengan mengganti backend ROCm dari versi 7.2.1 ke 7.14. Pembaruan ini sejalan dengan ROCm 7.14 sebagai rilis produksi pertama yang menggunakan sistem build TheRock dan melibatkan migrasi pekerjaan CI untuk menggunakan roda multi-arsitektur baik untuk Linux maupun Windows.

Mengubah target ROCm dari 7.2.1 ke 7.14 di seluruh build Linux dan Windows.
Memigrasikan tindakan pengaturan Windows bersama ke roda ROCm multi-arsitektur dan memperbarui build-cuda-windows.yml sesuai.
Menambahkan biner Windows baru untuk CUDA 13 (x64) dan dukungan pratinjau untuk CUDA 13.4 (arm64).
Menyediakan biner pra-build untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android, dan iOS.

Rilis ini memastikan kompatibilitas dengan infrastruktur ROCm terbaru sambil memperluas opsi akselerasi GPU di Windows melalui versi CUDA yang lebih baru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10361 memperbaiki SWA untuk EXAONE 4.5 dan melewatkan TENSOR_SKIP di jalur metadata

Rilis llama.cpp b10361 mengatasi bug kritis di mana Sliding Window Attention (SWA) tidak diaktifkan untuk model LGAI-EXAONE 4.5 karena urutan parameter yang salah saat pemuatan.

lab Hugging Face Blog · 11 jam lalu

ALTK-Evolve mencapai akurasi yang sama atau lebih baik daripada ACE dengan biaya inferensi jauh lebih rendah

ALTK-Evolve, sebuah sistem untuk memori agentic yang mengubah lintasan agen menjadi panduan yang dapat digunakan kembali tanpa pembaruan bobot, menyamai atau melampaui akurasi ACE sambil menggunakan token secara signifikan lebih sedikit. Berbeda dengan ACE yang menyuntikkan panduan komprehensif pada setiap langkah, ALTK-Evolve menggunakan pengambilan selektif untuk memberikan hanya panduan yang relevan berdasarkan kapasitas model.

github vLLM · 14 jam lalu

vLLM v0.27.1 menambahkan dukungan untuk kepala DSpark Markov terkuantisasi

vLLM telah merilis versi 0.27.1, sebuah pembaruan patch yang dibangun di atas rilis sebelumnya v0.27.0.

lab NVIDIA Research · 15 jam lalu · 10 tayangan

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.

media MarkTechPost · 16 jam lalu · 1 tayangan

webAI merilis TwIL-LM, keluarga model logika formal berukuran 1,7B dan 3B untuk autoformalisasi lokal

webAI telah merilis TwIL-LM, sebuah keluarga dua model penalar logika formal dengan parameter 1,7B dan 3B yang dirancang untuk autoformalisasi pada perangkat keras lokal. Model-model ini menerjemahkan bahasa Inggris ke dalam logika orde pertama dan memeriksa validitas kesimpulan, dengan varian 3B mencapai skor gerbang makro sebesar 0,4218 pada tugas logika formal dalam domain.