github llama.cpp · 7 jam lalu · inference

llama.cpp b10361 memperbaiki SWA untuk EXAONE 4.5 dan melewatkan TENSOR_SKIP di jalur metadata

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10361 mengatasi bug kritis di mana Sliding Window Attention (SWA) tidak diaktifkan untuk model LGAI-EXAONE 4.5 karena urutan parameter yang salah saat pemuatan.

Pemuat model sekarang menangani file GGUF EXAONE 4.5 dengan benar dengan memperbaiki urutan pembacaan `hparams.n_layer()` dan `LLM_KV_NEXTN_PREDICT_LAYERS`, memastikan SWA diaktifkan dengan tepat.
Jalur hanya metadata untuk membangun model sekarang melewatkan tensor yang ditandai dengan `TENSOR_SKIP`, mencegah kegagalan assert akibat tipe buffer null pada arsitektur yang menggunakan lapisan nextn/MTP.
Uji ditambahkan untuk mencakup urutan hparams EXAONE 4, memverifikasi bahwa perbaikan menetapkan `swa_type` menjadi STANDARD bukan NONE.

Pembaruan ini memastikan rilis GGUF resmi LGAI-EXAONE berfungsi dengan benar dengan sliding window attention dan memungkinkan model dengan lapisan nextn/MTP dibangun melalui jalur hanya metadata.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

ALTK-Evolve mencapai akurasi yang sama atau lebih baik daripada ACE dengan biaya inferensi jauh lebih rendah

ALTK-Evolve, sebuah sistem untuk memori agentic yang mengubah lintasan agen menjadi panduan yang dapat digunakan kembali tanpa pembaruan bobot, menyamai atau melampaui akurasi ACE sambil menggunakan token secara signifikan lebih sedikit. Berbeda dengan ACE yang menyuntikkan panduan komprehensif pada setiap langkah, ALTK-Evolve menggunakan pengambilan selektif untuk memberikan hanya panduan yang relevan berdasarkan kapasitas model.

github vLLM · 14 jam lalu

vLLM v0.27.1 menambahkan dukungan untuk kepala DSpark Markov terkuantisasi

vLLM telah merilis versi 0.27.1, sebuah pembaruan patch yang dibangun di atas rilis sebelumnya v0.27.0.

lab NVIDIA Research · 15 jam lalu · 10 tayangan

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.

media MarkTechPost · 16 jam lalu · 1 tayangan

webAI merilis TwIL-LM, keluarga model logika formal berukuran 1,7B dan 3B untuk autoformalisasi lokal

webAI telah merilis TwIL-LM, sebuah keluarga dua model penalar logika formal dengan parameter 1,7B dan 3B yang dirancang untuk autoformalisasi pada perangkat keras lokal. Model-model ini menerjemahkan bahasa Inggris ke dalam logika orde pertama dan memeriksa validitas kesimpulan, dengan varian 3B mencapai skor gerbang makro sebesar 0,4218 pada tugas logika formal dalam domain.

media AI News (smol.ai) · 17 jam lalu

Meta merilis model open-weight Muse Glimmer 30B; Anthropic meningkatkan batas Riemann

Meta merilis Muse Glimmer, model multimodal padat berukuran 30B yang dioptimalkan untuk penyebaran agen lokal di bawah lisensi Apache 2.0, sambil juga menjanjikan bobot masa depan untuk Muse Spark 1.2.