github llama.cpp · 1 jam lalu · inference

llama.cpp b10798 membuat aliran output info build dapat dikonfigurasi

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10798, memperkenalkan perubahan untuk membuat aliran output informasi build dapat dikonfigurasi. Pembaruan ini memungkinkan `llama_print_build_info` menulis ke FILE* yang disediakan pemanggil alih-alih mengodekan stderr secara keras.

Parameter defaultnya adalah stderr sehingga pemanggil yang ada mempertahankan perilaku saat ini.
Perintah versi di llama-app sekarang meneruskan stdout, memastikan output versi biasa pergi ke lokasi yang diharapkan.

Perubahan ini meningkatkan fleksibilitas bagi pengembang yang perlu mengalihkan aliran output informasi build secara terprogram.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10796 menambahkan n_expert_used_max untuk memperbaiki pemuatan Nemotron-3-Puzzle

Proyek llama.cpp merilis build b10796, yang mencakup perubahan pada pemuat model untuk mendukung model dengan jumlah ahli yang berbeda per lapisan.

arxiv arXiv cs.LG · 11 jam lalu · 1 tayangan

FlashAttention-4 memperkenalkan Direct-P untuk inferensi dan pelatihan FP4 yang sadar perangkat keras

FlashAttention-4 mengatasi keterbatasan kinerja inti tensor floating-point 4-bit (FP4) Blackwell dengan memperkenalkan jalur baru untuk inferensi nonkausal dan pelatihan kausal. Metode ini, yang disebut Direct-P, memetakan skor secara langsung ke probabilitas FP4 untuk melewati overhead konversi softmax yang biasanya mendominasi ketika hasil perkalian matriks mengecil.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10795 menggabungkan operasi SYCL

Proyek llama.cpp merilis versi b10795, yang mencakup optimasi baru untuk backend SYCL. Pembaruan ini mengaktifkan penggabungan rantai RMS_NORM+MUL+ADD dan ADD+ADD residual di bawah flag GGML_SYCL_ENABLE_FUSION.

github llama.cpp · 17 jam lalu · 3 tayangan

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

github llama.cpp · 18 jam lalu · 1 tayangan

llama.cpp b10792 memperbaiki generasi tata bahasa GBNF untuk skema objek kosong

Proyek llama.cpp telah merilis build b10792, yang mencakup perbaikan untuk generasi tata bahasa GBNF yang secara khusus menangani masalah dengan skema objek kosong.