github llama.cpp · 1 hari lalu · inference

llama.cpp b10693 menambahkan penemuan perangkat Hexagon NPU dan dukungan sesi sesuai permintaan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10693, yang memperkenalkan dukungan untuk Qualcomm Hexagon NPUs. Pembaruan ini memungkinkan penemuan inti NPU yang tersedia secara runtime dan memungkinkan pembuatan sesi inferensi sesuai permintaan.

Ditambahkan antarmuka alokasi dan pembersihan sesi lazy untuk perangkat Hexagon.
Diimplementasikan penemuan runtime inti NPU yang tersedia.
Dikonfigurasi penolakan dini perangkat yang tidak ada selama inisialisasi.
Menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, Vulkan, ROCm, OpenVINO, SYCL, dan CUDA.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

Proyek llama.cpp telah merilis build b10721, yang mencakup perbaikan kritis untuk backend WebGPU dan memperluas dukungan perangkat keras di Windows.

github llama.cpp · 2 jam lalu

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 4 jam lalu · 3 tayangan

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Rilis llama.cpp b10717 meningkatkan pengambilan informasi memori SYCL

llama.cpp b10715 menggabungkan encoder DFlash ke dalam injeksi cache KV

pipecat-ai merilis phonellm-alpha-1 dengan kinerja GPT 5.6 Terra