llama.cpp — korshunov.ai

Sumber · llama.cpp

llama.cpp b10435 memperbaiki biaya kuadratik di jinja gather_string_parts

Proyek llama.cpp telah merilis versi b10435, yang mengatasi masalah kinerja dalam mesin template Jinja. Perubahan utama memperbaiki bug kompleksitas waktu kuadratik dalam fungsi `gather_string_parts`.

github llama.cpp · 4 jam lalu

llama.cpp b10434 meneruskan reasoning_effort ke template

Proyek llama.cpp merilis build b10434, yang menambahkan dukungan untuk meneruskan parameter `reasoning_effort` ke template Jinja. Perubahan ini memastikan bahwa nilai `reasoning_effort` dari OpenAI Chat Completions disimpan dan tersedia selama generasi.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b10431 menambahkan rollback keadaan rekuren untuk model SSM

Proyek llama.cpp merilis versi b10431, yang memperkenalkan dukungan untuk rollback keadaan rekuren (RS) dalam operasi ggml_ssm_scan. Perubahan ini memungkinkan rollback RS untuk model Nemotron di backend CPU dan CUDA.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b10429 memungkinkan akses ke /metrics dan /slots selama llama_decode()

Proyek llama.cpp merilis versi b10429, yang memodifikasi server untuk mengizinkan akses ke endpoint /metrics dan /slots saat llama_decode() sedang dieksekusi.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b10430 memungkinkan perangkat igpu virtual

Proyek llama.cpp telah merilis versi b10430, yang memperkenalkan dukungan untuk perangkat GPU terintegrasi (igpu) virtual. Pembaruan ini juga mencakup komentar yang ditingkatkan di dalam basis kode.

github llama.cpp · 15 jam lalu · 1 tayangan

llama.cpp b10427 menggabungkan operasi FFN SYCL untuk peningkatan throughput hingga 12,4%

Proyek llama.cpp merilis versi b10427, yang mencakup optimasi kinerja untuk GPU Intel Arc melalui SYCL. Pembaruan ini mengimplementasikan penggabungan operasi gate, up, dan GLU di dalam lapisan jaringan feed-forward padat (FFN) q4_K.

github llama.cpp · 17 jam lalu · 2 tayangan

llama.cpp b10425 menggabungkan penulisan kembali keadaan gated-delta-net untuk percepatan +1,2%

Proyek llama.cpp telah merilis versi b10425, yang mencakup port optimasi SYCL untuk menggabungkan salinan penulisan kembali keadaan gated-delta-net.

github llama.cpp · 1 hari lalu

llama.cpp b10418 menambahkan dukungan memori host tetap untuk SYCL

Proyek llama.cpp merilis versi b10418, memperkenalkan dukungan memori host tetap untuk meningkatkan akses memori Host-ke-Perangkat pada SYCL. Pembaruan ini mengatasi masalah keamanan utas dalam implementasi backend.

github llama.cpp · 1 hari lalu

Backend OpenVINO llama.cpp menambahkan dukungan Qwen3.5 dan optimasi memori

Proyek llama.cpp telah menggabungkan pembaruan signifikan pada backend OpenVINO-nya, terutama mengaktifkan dukungan untuk keluarga model Qwen3.5 dan memperkenalkan beberapa teknik optimasi memori.

github llama.cpp · 1 hari lalu

llama.cpp b10416 memperbaiki cache UI usang di llama.app

Proyek llama.cpp merilis build b10416, mengatasi masalah caching di situs web llama.app di mana file index.html terpasang ke build lama karena header yang tidak dapat diubah.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10413 menambahkan deteksi otomatis tipe spesifikasi draf dari metadata GGUF

Proyek llama.cpp merilis versi b10413, yang memperkenalkan deteksi otomatis tipe spesifikasi decoding spekulatif langsung dari metadata model GGUF draf.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10414 menambahkan dukungan TQ2_0 dan mengoptimalkan kernel mul_mv

Proyek llama.cpp merilis build b10414, memperkenalkan dukungan untuk jenis kuantisasi ternary GGML_TYPE_TQ2_0 di backend Metal. Pembaruan ini juga mencakup optimasi pada kernel mul_mv tensor kontigu (cont).

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10412 mengaktifkan sampling backend untuk dflash dan dspark

Proyek llama.cpp telah merilis versi b10412, yang memperkenalkan dukungan sampling backend untuk backend dflash dan dspark. Pembaruan ini juga memungkinkan nilai p_min lebih besar dari 0 dalam logika sampling backend dan menambahkan perlindungan yang sesuai.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10410 menghapus promosi tipe fp32 terpisah di jalur gemm non-oneDNN

Proyek llama.cpp telah merilis versi b10410, yang mencakup perubahan kode untuk backend SYCL. Pembaruan ini menghapus promosi tipe fp32 terpisah di jalur GEMM non-oneDNN dan alih-alih menggunakan promosi otomatis fp16.

github llama.cpp · 1 hari lalu · 7 tayangan

llama.cpp b10408 menambahkan kernel ESIMD Q3_K dan memindahkan kontrol ke runtime

Proyek llama.cpp merilis versi b10408, yang memperkenalkan kernel DMMV Q3_K ESIMD untuk GPU Intel. Rilis ini juga mencakup kernel ESIMD Q4_K dan Q6_K baru serta melakukan refaktor basis kode untuk memungkinkan kontrol ESIMD pada waktu eksekusi daripada waktu kompilasi.

github llama.cpp · 3 hari lalu · 9 tayangan

llama.cpp b10369 menambahkan dukungan pocket-tts dengan generasi CUDA 80% lebih cepat

Proyek llama.cpp merilis build b10369, memperkenalkan dukungan untuk model text-to-speech pocket-tts. Pembaruan ini mencakup implementasi baru konvolusi transpos menggunakan GEMM dan col2im untuk mengoptimalkan kinerja.

github llama.cpp · 3 hari lalu · 10 tayangan

llama.cpp b10361 memperbaiki SWA untuk EXAONE 4.5 dan melewatkan TENSOR_SKIP di jalur metadata

Rilis llama.cpp b10361 mengatasi bug kritis di mana Sliding Window Attention (SWA) tidak diaktifkan untuk model LGAI-EXAONE 4.5 karena urutan parameter yang salah saat pemuatan.

github llama.cpp · 4 hari lalu · 4 tayangan

llama.cpp b10356 memperbarui ROCm ke 7.14 dan menambahkan dukungan CUDA 13 untuk Windows

Proyek llama.cpp telah merilis versi b10356, yang terutama menargetkan infrastruktur build dengan mengganti backend ROCm dari versi 7.2.1 ke 7.14. Pembaruan ini sejalan dengan ROCm 7.14 sebagai rilis produksi pertama yang menggunakan sistem build TheRock dan melibatkan migrasi pekerjaan CI untuk menggunakan roda multi-arsitektur baik untuk Linux maupun Windows.

github llama.cpp · 4 hari lalu · 4 tayangan

llama.cpp b10355 menambahkan pengambilan sampel backend multi-output dengan spekulasi token

Proyek llama.cpp merilis versi b10355, memperkenalkan dukungan untuk pengambilan sampel backend multi-output. Pembaruan ini memungkinkan pengambilan sampel backend dikombinasikan dengan spekulasi token dan menambahkan parameter konteks numerik untuk mendeklarasikan jumlah output maksimum per sekuens.

github llama.cpp · 4 hari lalu · 9 tayangan

llama.cpp b10353 memperbaiki hasil salah diam-diam di kernel ROLL CUDA dan Metal

Proyek llama.cpp merilis build b10353, yang menangani bug kritis dalam operasi ggml_roll pada backend CUDA dan Metal. Sebelumnya, tensor sumber yang dipermutasi (tidak kontinu) menghasilkan hasil yang salah secara diam-diam karena backend ini mengabaikan informasi stride.