github vLLM · 15 jam lalu · inference

vLLM v0.27.1 menambahkan dukungan untuk kepala DSpark Markov terkuantisasi

Diterjemahkan dari English → Bahasa Indonesia

vLLM telah merilis versi 0.27.1, sebuah pembaruan patch yang dibangun di atas rilis sebelumnya v0.27.0.

Pembaruan ini memperkenalkan dukungan untuk kepala DSpark Markov terkuantisasi.

Kepentingan 1/3 Kepercayaan 2/3 vLLM Inference efficiency

llama.cpp b10361 memperbaiki SWA untuk EXAONE 4.5 dan melewatkan TENSOR_SKIP di jalur metadata

Rilis llama.cpp b10361 mengatasi bug kritis di mana Sliding Window Attention (SWA) tidak diaktifkan untuk model LGAI-EXAONE 4.5 karena urutan parameter yang salah saat pemuatan.

lab Hugging Face Blog · 12 jam lalu

ALTK-Evolve mencapai akurasi yang sama atau lebih baik daripada ACE dengan biaya inferensi jauh lebih rendah

ALTK-Evolve, sebuah sistem untuk memori agentic yang mengubah lintasan agen menjadi panduan yang dapat digunakan kembali tanpa pembaruan bobot, menyamai atau melampaui akurasi ACE sambil menggunakan token secara signifikan lebih sedikit. Berbeda dengan ACE yang menyuntikkan panduan komprehensif pada setiap langkah, ALTK-Evolve menggunakan pengambilan selektif untuk memberikan hanya panduan yang relevan berdasarkan kapasitas model.

lab NVIDIA Research · 16 jam lalu · 10 tayangan

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.

media MarkTechPost · 17 jam lalu · 1 tayangan

webAI merilis TwIL-LM, keluarga model logika formal berukuran 1,7B dan 3B untuk autoformalisasi lokal

webAI telah merilis TwIL-LM, sebuah keluarga dua model penalar logika formal dengan parameter 1,7B dan 3B yang dirancang untuk autoformalisasi pada perangkat keras lokal. Model-model ini menerjemahkan bahasa Inggris ke dalam logika orde pertama dan memeriksa validitas kesimpulan, dengan varian 3B mencapai skor gerbang makro sebesar 0,4218 pada tugas logika formal dalam domain.

media AI News (smol.ai) · 17 jam lalu

Meta merilis model open-weight Muse Glimmer 30B; Anthropic meningkatkan batas Riemann

Meta merilis Muse Glimmer, model multimodal padat berukuran 30B yang dioptimalkan untuk penyebaran agen lokal di bawah lisensi Apache 2.0, sambil juga menjanjikan bobot masa depan untuk Muse Spark 1.2.