llama.cpp — korshunov.ai

Sumber · llama.cpp

github llama.cpp · 7 jam lalu · 2 tayangan

llama.cpp b11284 memperbaiki GET_ROWS OpenVINO pada tampilan bobot terkuantisasi

Proyek llama.cpp merilis build b11284, yang mencakup perbaikan untuk backend OpenVINO agar dapat menangani operasi GET_ROWS dengan benar pada tampilan bobot terkuantisasi.

github llama.cpp · 8 jam lalu · 1 tayangan

Rilis llama.cpp b11280 mengurangi sinkronisasi allreduce tensor dengan buffer host yang dipin

Proyek llama.cpp telah merilis versi b11280, yang mencakup perubahan untuk mengurangi sinkronisasi allreduce tensor dengan memanfaatkan buffer host yang dipin.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b11282 mendefinisikan CUDA_ARCH untuk terusan perangkat MUSA

Proyek llama.cpp merilis build b11282, yang mencakup perbaikan untuk mendefinisikan makro `CUDA_ARCH` untuk terusan perangkat MUSA. Sebelumnya, header vendor MUSA gagal mendefinisikan variabel ini, menyebabkan tes arsitektur dalam sumber ggml-cuda bersama dievaluasi ke nol dan menghasilkan tubuh kernel kosong.

github llama.cpp · 10 jam lalu · 2 tayangan

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

github llama.cpp · 11 jam lalu · 2 tayangan

llama.cpp b11273 menambahkan dukungan classifier_pooling untuk reranker ModernBERT

Proyek llama.cpp merilis build b11273, yang memperkenalkan dukungan untuk metode `classifier_pooling` pada model reranking, khususnya menargetkan arsitektur ModernBERT.

github llama.cpp · 12 jam lalu · 2 tayangan

llama.cpp b11272 mengoptimalkan operasi penggabungan Hexagon

Proyek llama.cpp merilis build b11272, yang mencakup optimasi untuk backend Hexagon. Perubahan utama berfokus pada optimisasi operasi penggabungan untuk meningkatkan kinerja pada perangkat keras Qualcomm Snapdragon.

github llama.cpp · 19 jam lalu · 2 tayangan

llama.cpp b11266 memuat matriks A F32 dua kali untuk Vulkan pada Intel

Proyek llama.cpp merilis build b11266, yang mencakup optimasi Vulkan yang memuat matriks A F32 dua elemen sekaligus ketika mereka sejajar 2. Perubahan ini mengatasi masalah kinerja pada perangkat keras Intel di mana memuat float satu per satu tidak efisien, dan juga memperbaiki validasi yang hilang untuk penjajaran `a_offset` dalam patch asli.

github llama.cpp · 21 jam lalu · 1 tayangan

llama.cpp b11265 memperbaiki pemilihan tile matmul MOE di Vulkan

Rilis llama.cpp b11265 mencakup perbaikan untuk penanganan model Mixture of Experts (MoE) oleh backend Vulkan. Pembaruan ini memperbaiki bagaimana `mat_mul_id` memilih tile perkalian matriks, mengatasi masalah kinerja di mana pekerja menganggur selama penjadwalan.

github llama.cpp · 1 hari lalu · 7 tayangan

llama.cpp b11260 menambahkan dukungan FP32 GELU_ERF dan GEGLU_ERF

Proyek llama.cpp telah merilis versi b11260, memperkenalkan dukungan untuk fungsi aktivasi FP32 GELU_ERF dan GEGLU_ERF di backend Hexagon. Pembaruan ini juga mencakup optimasi untuk mengurangi tekanan register dalam kernel terkait.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b11258 menghapus service worker UI bawaan saat UI tidak dilayani

Proyek llama.cpp merilis build b11258, yang mencakup perbaikan untuk perilaku service worker antarmuka web bawaan. Sebelumnya, menggunakan flag seperti `--path` atau `--no-ui` menyebabkan browser menyimpan versi cache dari UI karena server mengembalikan 404 untuk `/sw.js`, yang tidak memicu penghapusan service worker.

github llama.cpp · 1 hari lalu · 7 tayangan

llama.cpp b11254 memperbaiki pengumpulan input grafik untuk paralelisme pipa

Proyek llama.cpp merilis build b11254, yang mencakup perbaikan mengenai cara tensor input dikumpulkan dalam grafik komputasi. Sebelumnya, `graph_inputs` diisi selama pemecahan grafik, menyebabkan masalah dengan paralelisme pipa di mana pergantian antar batch yang mengonsumsi input berbeda memicu perbandingan ID backend yang tidak benar dan memaksa reservasi ulang scheduler.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b11240 menambahkan dukungan input multimodal bertipe ke /v1/embeddings

Server llama.cpp kini mendukung input konten bertipe (vision, audio, video) untuk endpoint /v1/embeddings. Pembaruan ini memungkinkan permintaan embedding multimodal dengan menerima array konten terbungkus bergaya OpenAI, sehingga bagian teks dan image_url dapat diproses bersama.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11238 menambahkan ggml_pad_ext untuk padding kiri dan melewatkan tap DFlash2

Proyek llama.cpp merilis build b11238, memperkenalkan implementasi padding kiri yang terpadu melalui fungsi `ggml_pad_ext` baru. Perubahan ini menyatukan metode sebelumnya yang digunakan oleh encoder audio seperti Parakeet, LFM2-Audio, Granite Speech, dan Gemma 4, memastikan embedding yang identik secara bit untuk Gemma 4 sambil menyederhanakan dukungan backend.

github llama.cpp · 2 hari lalu · 5 tayangan

llama.cpp b11232 mengaktifkan flash attention bertegel di x86

Proyek llama.cpp merilis build b11232, yang mencakup pembaruan untuk backend ggml-cpu. Rilis ini berfokus pada pengaktifan flash attention bertegel untuk dimensi kepala bukan kelipatan vektor pada arsitektur x86.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b11228 menambahkan dukungan padding kiri dan melingkar di GGML_OP_PAD Metal

Rilis llama.cpp b11228 memperkenalkan dukungan untuk padding kiri dan melingkar pada operasi GGML_OP_PAD di backend Metal, menyelaraskannya dengan implementasi CPU, CUDA, dan Vulkan. Perubahan ini memperbaiki masalah padding kanan untuk sumber yang dipermutasi dan memastikan perilaku yang konsisten di berbagai backend perangkat keras.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11227 mengoptimalkan pengalihan causal_attn untuk inferensi visual yang lebih cepat

Proyek llama.cpp merilis build b11227, yang mencakup optimasi kinerja yang secara khusus menargetkan penanganan flag `causal_attn` selama pemrosesan multimodal.

github llama.cpp · 3 hari lalu · 3 tayangan

llama.cpp b11224 memperbaiki hasil salah mul_mat Vulkan pada tampilan cache KV bertingkat

Rilis llama.cpp b11224 mengatasi hasil komputasi yang salah di backend Vulkan ketika operasi perkalian matriks membaca irisan dari tensor yang lebih besar dan bertingkat, seperti cache KV.

github llama.cpp · 3 hari lalu · 6 tayangan

llama.cpp b11223 mengizinkan RANK pooling batch splitting untuk reranker LLM kausal

Server llama.cpp sekarang mengizinkan RANK pooling batch splitting untuk reranker LLM kausal seperti Qwen3 dan Qwen3-VL, menyelesaikan batasan sebelumnya yang merusak reranking dokumen panjang dan multimodal.

github llama.cpp · 3 hari lalu · 13 tayangan

llama.cpp b11216 menambahkan kernel FWHT SYCL untuk lebar blok di atas 512

Rilis llama.cpp b11216 memperkenalkan kernel Transformasi Walsh-Hadamard Cepat (FWHT) di backend SYCL yang mendukung lebar blok lebih besar dari 512. Sebelumnya, lebar yang lebih besar jatuh kembali ke GEMM padat dengan kompleksitas O(n^2); perubahan ini memungkinkan kinerja O(n log n) untuk ukuran tersebut.

github llama.cpp · 3 hari lalu · 14 tayangan

llama.cpp b11214 mengaktifkan kernel fattn-mma pada CDNA untuk ukuran batch besar

Proyek llama.cpp telah merilis versi b11214, yang mencakup pembaruan kunci untuk backend HIP. Rilis ini mengaktifkan kernel fattn-mma pada arsitektur CDNA ketika dkq lebih besar dari 256, secara khusus menargetkan peningkatan kinerja untuk ukuran batch besar.