github llama.cpp · 1 jam lalu · inference

llama.cpp b10594 melewati loop device_info untuk menghindari alokasi VRAM yang tidak perlu

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10594, yang mencakup perbaikan untuk melewati loop device_info ketika tingkat log tidak diatur ke LOG_LEVEL_TRACE. Sebelumnya, loop ini mengiterasi perangkat yang ditemukan untuk menghitung memori, yang memerlukan pembuatan konteks GPU dan mengakibatkan alokasi VRAM sebesar 550 MB bahkan ketika data dibuang.

Perubahan ini mencegah penggunaan sumber daya GPU yang tidak perlu dengan memeriksa tingkat verbositas sebelum melakukan iterasi.
Binari tersedia untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, dan iOS.
Rilis ini juga menyediakan binari UI dan atestasi untuk verifikasi.

Pembaruan ini membantu pengguna yang tidak ingin menggunakan sumber daya GPU untuk menghindari overhead pembuatan konteks dan alokasi VRAM ketika informasi perangkat tidak diperlukan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Noah DeAngelis membangun perhatian berbasis routing eksperimental untuk model GPT

Noah DeAngelis telah mengembangkan mekanisme perhatian berbasis routing eksperimental untuk model GPT, yang diimplementasikan dalam proyek PyTorch bernama RoutingGPT. Pendekatan ini menggunakan lapisan linear yang dipelajari untuk memilih subset token sebagai kunci dan nilai sambil mempertahankan semua token sebagai kueri.

github llama.cpp · 3 jam lalu · 3 tayangan

llama.cpp b10593 memperbaiki rollback DeepseekV4 dan pemuatan model

Proyek llama.cpp telah merilis build b10593, yang mengatasi masalah kritis dengan arsitektur model DeepseekV4. Pembaruan ini secara khusus menyelesaikan kegagalan rollback yang terjadi selama pemrosesan multi-sekuens.

github llama.cpp · 6 jam lalu · 8 tayangan

llama.cpp b10589 menambahkan dukungan CUDA POOL_1D

Proyek llama.cpp telah merilis versi b10589, yang memperkenalkan dukungan CUDA POOL_1D melalui pull request #27573. Pembaruan ini juga mencakup perbaikan kepatuhan editorconfig dengan menambahkan baris baru akhir yang hilang.

github llama.cpp · 18 jam lalu · 6 tayangan

llama.cpp b10587 menambahkan PAD_REFLECT_1D ke backend Vulkan

Proyek llama.cpp merilis build b10587, yang memperkenalkan operasi GGML_OP_PAD_REFLECT_1D ke backend Vulkan. Pembaruan ini mengimplementasikan shader komputasi GLSL yang diperlukan dan mendaftarkannya untuk kompilasi SPIR-V di dalam modul ggml-vulkan.

github llama.cpp · 22 jam lalu · 2 tayangan

llama.cpp b10584 memperbaiki ukuran konteks draf untuk mencegah kesalahan server 500

Proyek llama.cpp merilis build b10584, mengatasi masalah kritis di mana ukuran konteks draf tidak sesuai dengan konteks target, menyebabkan permintaan server gagal dengan kesalahan 500.