Proyek llama.cpp merilis versi b11120, yang mengatasi bug kritis pada backend Vulkan dengan menyembunyikan simbol internal. Perubahan ini mencegah masalah penghancuran state akibat duplicate-dlopen yang terjadi ketika simbol internal diekspor.
Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.
Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.
Proyek llama.cpp telah merilis build b11118, yang mencakup fitur hex-dma baru yang memperkenalkan direktori DMA terpetakan langsung lebih cocok untuk penanganan mask FA Hexagon Vector eXtended (HVX).
Parallel telah mengintegrasikan GPT-6 Astra dari OpenAI ke dalam infrastruktur agen AI-nya, mencapai pengurangan 50% baik dalam waktu penelitian maupun biaya kode dibandingkan dengan model sebelumnya. Perusahaan melaporkan bahwa model baru memungkinkan agen menyelesaikan pekerjaan pengetahuan kompleks secara signifikan lebih cepat sambil mempertahankan output berkualitas tinggi.
Proyek llama.cpp merilis build b11111, yang memperkenalkan kernel optimasi flash attention berbasis Vulkan untuk jalur split k pada arsitektur Xe-LPG Plus, Xe2, dan Xe3.
Proyek llama.cpp telah menambahkan dukungan untuk dekode spekulatif DFlash dengan model HunyuanOCR dengan mengekspos tensor input lapisan dalam grafik target. Perubahan ini memungkinkan model draf membaca aliran residual, sehingga permintaan gambar dapat berjalan sukses dengan tingkat penerimaan draf sekitar 0,5 dan output OCR yang identik secara byte dibandingkan dengan eksekusi non-spekulatif.
Proyek llama.cpp merilis versi b11104, memperkenalkan fitur baru yang memungkinkan komponen llama-server untuk mengikat ke beberapa alamat jaringan secara bersamaan.
Proyek llama.cpp merilis build b11102, yang memperkenalkan dukungan untuk mengonversi model MiMo-V2.6.
Proyek llama.cpp telah merilis versi b11101, yang mencakup perbaikan sistem build yang memungkinkan panggilan find_package berulang untuk pustaka llama.
Pustaka Transformers dari Hugging Face kini mendukung pemuatan model terkuantisasi GGUF, memanfaatkan kernel ggml di bawahnya untuk membawa performa mendekati llama.cpp. Integrasi ini memungkinkan pengembang menjalankan checkpoint terkuantisasi langsung dalam API berbasis PyTorch standar pada perangkat keras yang didukung.
Proyek llama.cpp merilis build b11100, yang menangani masalah parsing spesifik dengan model Muse Glimmer. Perubahan utama melibatkan perbaikan kesalahan parser pertama yang ditemui selama eksekusi panggilan alat untuk model ini.
Proyek llama.cpp telah merilis versi b11097, yang memperkenalkan kernel biner OpenCL untuk format A8 Q4_0 non-MoE dp4a.
Jen Wei mengalami spiral kematian learning rate saat menguji AdamW, Muon, dan implementasi terbaru Dion3 di dalam OLMo-core untuk sebuah talk Konferensi PyTorch mendatang.
Seorang pengguna berencana membangun model bahasa besar (LLM) asli bahasa Yunani tanpa sensor untuk penyebaran lokal menggunakan checkpoint ilsp/Llama-Krikri-8B-Instruct. Rencana yang diusulkan melibatkan abliterasi model dengan Heretic (heretic-llm), konversi ke format GGUF Q4_K_M, dan menjalankan inferensi pada perangkat GMKtec EVO-X3 yang dilengkapi prosesor AMD Ryzen AI MAX+ 395 melalui Vulkan.
Together AI telah memperkenalkan Canary rollouts, sebuah fitur yang memigrasikan lalu lintas langsung dari model saat ini ke checkpoint baru dalam langkah-langkah bertahap. Sistem ini mengotomatisasi mekanisme keamanan untuk pergantian model dengan menjalankan pemeriksaan kesehatan dan gerbang metrik opsional sebelum mengalihkan lalu lintas, memungkinkan jeda dan pembalikan otomatis jika kinerja menurun.
Para peneliti mengusulkan AgentRouter, sebuah klasifikator ringan yang mengoptimalkan alur kerja agen multi-langkah dengan menata langkah-langkah lintasan individu ke tingkat model yang sesuai, bukan menggunakan model terdepan untuk setiap tugas. Sistem ini mengatasi inefisiensi solusi yang ada yang mengabaikan kompleksitas sub-tugas yang bervariasi dalam satu sesi agen.
Rilis llama.cpp b11095 memperkenalkan implementasi GATED_DELTA_NET (GDN) baru yang dioptimalkan untuk HMX, bersama dengan berbagai optimisasi untuk kernel Hexagon dan Flash Attention.
Para peneliti mengusulkan AgentRouter, sebuah klasifikator ringan yang mengoptimalkan alur kerja agentic multi-langkah dengan menata langkah-langkah lintasan individu ke tingkat model yang sesuai, bukan menggunakan satu model terdepan untuk semua tugas. Sistem ini mengatasi inefisiensi sistem perusahaan yang membuang 60-80% dari anggaran inferensi mereka pada sub-tugas yang dapat ditangani sama baiknya oleh model yang lebih kecil.
Proyek llama.cpp merilis versi b11090, yang mencakup perbaikan untuk kesalahan kompilasi tile sm_70. Pembaruan ini menggeneralisasi bentuk tile fungsi load_ldmatrix 5 argumen untuk menyelesaikan ketidakcocokan dengan arsitektur Volta.