github llama.cpp · baru saja · inference

llama.cpp b10900 mengaktifkan fusi topk_moe untuk prefill melalui Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10900, yang mencakup pembaruan teknis pada backend Vulkan. Rilis ini menambahkan ketergantungan alokasi secara khusus untuk mengaktifkan optimasi fusi topk_moe selama fase prefill.

Perubahan kode utama adalah penambahan ketergantungan alokasi dalam implementasi Vulkan untuk mendukung fusi topk_moe untuk operasi prefill.
Binari disediakan untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android, dan iOS.

Dukungan KleidiAI untuk macOS Apple Silicon dinonaktifkan dalam build ini.

Pembaruan ini memberikan kepada pengguna kinerja prefill yang dioptimalkan pada perangkat keras yang kompatibel dengan Vulkan melalui teknik fusi yang baru diaktifkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

CyberTiel 35B-A3B tanpa sensor kuantisasi 4-bit mengalahkan Opus 4.6 medium pada masalah basis kode

Seorang peneliti anonim telah merilis CyberTiel 35B-A3B, model terkuantisasi 4-bit tanpa sensor yang dirancang untuk penelitian keamanan ofensif dan rekayasa perangkat lunak agentic. Model ini dibangun melalui abliteration pada basis TielCoder dan dikuantisasi dengan imatrix yang ditingkatkan yang berasal dari korpus sibersekuriti yang dikurasi.

github llama.cpp · 1 jam lalu Langsung

llama.cpp b10899 menambahkan optimasi Vulkan untuk Qwen dan dukungan split_k

Proyek llama.cpp merilis versi b10899, memperkenalkan peningkatan kinerja spesifik pada backend Vulkan-nya. Pembaruan ini berfokus pada mengoptimalkan operasi matriks untuk keluarga model Qwen dan meningkatkan kinerja umum dengan M kecil.

media Together AI Blog · 1 jam lalu Langsung

Together AI mengoptimalkan GEMM ThunderKittens untuk NVIDIA Vera Rubin NVL72

Tim kernel di Together AI telah mengoptimalkan pustaka ThunderKittens untuk memanfaatkan fitur baru di platform NVIDIA Vera Rubin NVL72, khususnya menargetkan peningkatan kinerja untuk perkalian matriks NVFP4 dan FP8.

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp b10896 memperbaiki kegagalan dekoding DFlash dengan model visi

Proyek llama.cpp merilis build b10896, yang mengatasi masalah kritis di mana memori drafter gagal mengalokasikan token baru saat menggunakan DFlash dengan model visi. Kegagalan ini terjadi karena gambar melaporkan offset tetap, mencegah alokasi token yang tepat.

media Hugging Face Forums · 7 jam lalu · 1 tayangan

Pengembang mencari saran untuk merancang arsitektur AI suara yang hemat biaya dengan latensi token pertama sekitar 500ms

Seorang pengembang AI meminta saran arsitektural untuk membangun sistem AI suara real-time yang mencapai latensi token pertama sekitar 500 ms atau kurang, sambil tetap hemat biaya dan dapat diskalakan.