github llama.cpp · 1 jam lalu · inference

llama.cpp b10178 menambahkan logging jejak untuk pemeriksaan kesamaan slot

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10178, yang memperkenalkan logging jejak untuk pemeriksaan kesamaan slot di dalam komponen server. Pembaruan ini menambahkan logging terperinci di `server-context.cpp` selama pemilihan slot cache prompt, secara khusus menangkap alasan lewati dan detail perhitungan kesamaan.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu dengan backend CPU, Vulkan, ROCm, OpenVINO, dan SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), dan openEuler. Dukungan KleidiAI untuk macOS Apple Silicon dinonaktifkan dalam build ini.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10174 menambahkan dukungan decoding spekulatif NextN/MTP untuk GLM-5.2

Proyek llama.cpp merilis build b10174, memperkenalkan dukungan decoding spekulatif NextN/MTP untuk arsitektur model GLM_DSA (GLM-5.2).

media Together AI Blog · 16 jam lalu

Together AI menjelaskan pengaliran sadar kapasitas untuk inferensi model khusus

Together AI menguraikan arsitektur platform Inferensi Model Khususnya, yang menghubungkan endpoint, deployment, dan konfigurasi tak berubah melalui pembagian lalu lintas sadar kapasitas. Sistem ini mengalihkan permintaan berdasarkan kapasitas efektif (bobot dikalikan replika siap) alih-alih persentase tetap, memungkinkan fitur seperti peluncuran tanpa henti dan pengujian A/B.

media Hugging Face Forums · 17 jam lalu

Graf Memori Berbobot Perhatian menggunakan perhatian Jina untuk traversal graph-RAG

Sebuah proposal baru menguraikan struktur memori LLM yang menggabungkan chunking terlambat dengan tepi berbobot perhatian untuk memungkinkan traversal langkah demi langkah. Sistem ini memanfaatkan model embedding dari Jina AI, yang menghitung perhatian antara kalimat, untuk menurunkan bobot tepi dari pemrosesan internal dokumen.

github llama.cpp · 17 jam lalu

llama.cpp b10171 memperbaiki output sampah multi-stream OpenCL Adreno

Rilis llama.cpp b10171 mengatasi bug kritis pada kernel gambar Adreno KQ/KQV yang menyebabkan output sampah selama batch multi-sekuens. Masalah ini muncul karena kernel-kernel tersebut mengabaikan dimensi 3, sehingga menyebabkan pembacaan yang salah saat menggunakan cache KV terpadu dengan beberapa stream.

media r/LocalLLaMA · 18 jam lalu

Microsoft merilis Mage-VL, model multimodal streaming asli codec

Microsoft telah merilis Mage-VL, model dasar multimodal 4B-parameter yang efisien untuk pemahaman gambar dan video yang menggunakan pendekatan asli codec untuk menyederhanakan pemrosesan visual. Sistem ini memisahkan aliran video menjadi frame jangkar (I) dan frame prediksi (P), hanya mempertahankan patch di mana codec mengalokasikan bit untuk mengurangi konsumsi token visual lebih dari 75%.