github llama.cpp · 2 jam lalu · inference

llama.cpp b10608 memperbaiki atom moov video dan SIGPIPE

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10608, yang mencakup perbaikan untuk modul video agar dapat menangani atom moov di akhir file dengan benar. Pembaruan ini juga mengatasi masalah SIGPIPE dengan menambahkan penanganan kasus pipe rusak pada Windows.

mtmd: video: perbaiki atom moov di akhir file
Perbaiki SIGPIPE dan tangani kasus pipe rusak pada Windows

Rilis ini menyediakan biner yang diperbarui untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, Vulkan, dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Asisten LLM seluler memangkas biaya token sebesar 75% melalui caching dan kompresi riwayat

Seorang pengembang aplikasi seluler mengurangi biaya API LLM dari empat kali estimasi awal menjadi sekitar seperempat jumlah tersebut dengan mengatasi dua ketidakefisienan utama: pengiriman ulang riwayat lengkap yang naif dan injeksi konteks RAG yang redundan.

github llama.cpp · 1 jam lalu · 6 tayangan Langsung

llama.cpp b10610 memperpendek penamaan perangkat virtual di CUDA dan Metal

Proyek llama.cpp merilis versi b10610, yang mencakup perubahan untuk memperpendek penamaan perangkat virtual di dalam backend ggml untuk platform CUDA maupun Metal.

github llama.cpp · 6 jam lalu · 17 tayangan

llama.cpp b10605 meratakan proyeksi mamba2 untuk mengirim GEMM

Proyek llama.cpp merilis build b10605, yang mencakup optimisasi kunci untuk arsitektur Mamba2. Pembaruan ini meratakan proyeksi input dan output model Mamba2 untuk mengirim operasi Perkalian Matriks Umum (GEMM) alih-alih operasi Perkalian Matriks Umum oleh Vektor (GEMV).

media r/LocalLLaMA · 7 jam lalu · 16 tayangan

Qwen 3.8 27B mencetak 72.9 pada benchmark Aider

Model Qwen 3.8 27B, berjalan dalam FP8 dengan jendela konteks 256K melalui vLLM, mencapai skor 72.9 pada benchmark Aider.

github llama.cpp · 7 jam lalu · 11 tayangan

llama.cpp b10604 menambahkan dukungan format DSV4 Deepseek 4 dan biner untuk macOS/iOS

Proyek llama.cpp telah merilis versi b10604, memperkenalkan dukungan untuk format model Deepseek 4 (DSV4) bersama dengan biner pra-kompilasi baru untuk macOS dan iOS.