github llama.cpp · 1 hari lalu · inference

llama.cpp b11260 menambahkan dukungan FP32 GELU_ERF dan GEGLU_ERF

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11260, memperkenalkan dukungan untuk fungsi aktivasi FP32 GELU_ERF dan GEGLU_ERF di backend Hexagon. Pembaruan ini juga mencakup optimasi untuk mengurangi tekanan register dalam kernel terkait.

Menambahkan dukungan FP32 GELU_ERF dan GEGLU_ERF untuk Hexagon.
Mengurangi tekanan register pada kernel hexagon.
Binari tersedia untuk macOS Apple Silicon, Intel, dan iOS.
Build Linux mencakup CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, dan platform Snapdragon.
Build Android arm64 mencakup dukungan untuk NPU Snapdragon Hexagon.
Rilis Windows menyediakan opsi CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan ROCm 10.0.

Rilis ini memperluas kompatibilitas perangkat keras untuk fungsi aktivasi tertentu dan meningkatkan efisiensi pada akselerator yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11284 memperbaiki GET_ROWS OpenVINO pada tampilan bobot terkuantisasi

Proyek llama.cpp merilis build b11284, yang mencakup perbaikan untuk backend OpenVINO agar dapat menangani operasi GET_ROWS dengan benar pada tampilan bobot terkuantisasi.

github llama.cpp · 9 jam lalu · 2 tayangan

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

github llama.cpp · 12 jam lalu · 2 tayangan

llama.cpp b11272 mengoptimalkan operasi penggabungan Hexagon

Proyek llama.cpp merilis build b11272, yang mencakup optimasi untuk backend Hexagon. Perubahan utama berfokus pada optimisasi operasi penggabungan untuk meningkatkan kinerja pada perangkat keras Qualcomm Snapdragon.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b11258 menghapus service worker UI bawaan saat UI tidak dilayani

Proyek llama.cpp merilis build b11258, yang mencakup perbaikan untuk perilaku service worker antarmuka web bawaan. Sebelumnya, menggunakan flag seperti `--path` atau `--no-ui` menyebabkan browser menyimpan versi cache dari UI karena server mengembalikan 404 untuk `/sw.js`, yang tidak memicu penghapusan service worker.

media Hugging Face Forums · 2 hari lalu · 4 tayangan

Krea 2 LoRA Studio memungkinkan pelatihan di Colab T4 gratis

Jordan Epstein telah merilis Krea 2 LoRA Studio, sebuah proyek yang dirancang untuk membuat alur kerja Krea 2 LoRA lengkap dapat digunakan pada GPU Google Colab T4 gratis. Alat ini mengatasi batasan memori dengan mengimplementasikan alur kerja bertahap yang mengelola persiapan cache, pelatihan, dan generasi pratinjau secara terpisah.