github llama.cpp · 20 jam lalu · inference

llama.cpp b10701 memperbaiki decoding spekulatif DFlash2 NVFP4

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10701, yang mencakup perbaikan untuk model draf DFlash2 NVFP4. Pembaruan ini mengatasi masalah di mana model-model ini menghasilkan hampir tidak ada token spekulatif yang diterima.

Melewati skala NVFP4 yang hilang ke operasi perhatian dalam pull request #28000.
Memastikan bahwa skala proyeksi Q, K, V, dan keluaran dilewatkan dengan benar ke operasi grafik yang sesuai.

Perubahan ini memulihkan fungsionalitas yang tepat untuk model DFlash2 NVFP4 dengan memperbaiki propagasi skala yang diperlukan untuk decoding spekulatif.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

Proyek llama.cpp telah merilis build b10721, yang mencakup perbaikan kritis untuk backend WebGPU dan memperluas dukungan perangkat keras di Windows.

github llama.cpp · 2 jam lalu

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 4 jam lalu · 3 tayangan

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Rilis llama.cpp b10717 meningkatkan pengambilan informasi memori SYCL

llama.cpp b10715 menggabungkan encoder DFlash ke dalam injeksi cache KV

pipecat-ai merilis phonellm-alpha-1 dengan kinerja GPT 5.6 Terra