github llama.cpp · 1 hari lalu · inference

llama.cpp b10696 menambahkan penyetelan fa-vec untuk M3 Pro

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10696, yang mencakup pull request yang menambahkan penyetelan vektor cepat (fa-vec) secara khusus untuk chip Apple M3 Pro.

Pembaruan ini mengatasi masalah #27668 untuk meningkatkan kinerja pada konfigurasi perangkat keras tertentu ini. Rilis ini menyediakan biner untuk macOS, iOS, Linux, Windows, Android, dan openEuler melalui berbagai backend termasuk CPU, CUDA, ROCm, Vulkan, OpenVINO, dan SYCL.

Penyetelan fa-vec dimaksudkan untuk mengoptimalkan kecepatan atau efisiensi inferensi bagi pengguna yang menjalankan llama.cpp pada perangkat yang dilengkapi dengan prosesor M3 Pro.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

Proyek llama.cpp telah merilis build b10721, yang mencakup perbaikan kritis untuk backend WebGPU dan memperluas dukungan perangkat keras di Windows.

github llama.cpp · 2 jam lalu

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 4 jam lalu · 3 tayangan

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Rilis llama.cpp b10717 meningkatkan pengambilan informasi memori SYCL

llama.cpp b10715 menggabungkan encoder DFlash ke dalam injeksi cache KV

pipecat-ai merilis phonellm-alpha-1 dengan kinerja GPT 5.6 Terra