github llama.cpp · baru saja · inference

llama.cpp b10158 menambahkan dukungan eagle3-v3 untuk model gpt-oss

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10158, yang memperkenalkan dukungan untuk arsitektur eagle3-v3 di dalam model gpt-oss.

Pembaruan ini tersedia di berbagai platform dan konfigurasi perangkat keras. Unduhan mencakup biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu dengan CPU, Vulkan, ROCm 7.2, OpenVINO, dan SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan HIP), Android, dan openEuler.

Rilis ini menyediakan biner pra-build untuk aplikasi utama dan UI-nya, memungkinkan pengguna menjalankan model yang diperbarui di berbagai sistem tanpa melakukan kompilasi dari sumber.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10098 memperbarui operasi aktivasi Hexagon

Proyek llama.cpp merilis versi b10098, yang mencakup pembaruan pada operasi aktivasi Hexagon. Rilis ini menyediakan biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend CPU dan GPU.

lab Hugging Face Blog · 5 hari lalu · 1 tayangan

Diffusers menambahkan dukungan inferensi Nunchaku Lite 4-bit asli

Hugging Face Diffusers kini mendukung pemuatan checkpoint Nunchaku Lite secara native melalui `from_pretrained()`, menghilangkan kebutuhan akan mesin inferensi terpisah atau kompilasi CUDA lokal. Integrasi ini memanfaatkan metode SVDQuant untuk menjalankan lapisan transformer dengan bobot dan aktivasi 4-bit (W4A4), secara signifikan mengurangi penggunaan memori sambil meningkatkan kecepatan inferensi.

github llama.cpp · 6 hari lalu · 1 tayangan

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.

github llama.cpp · 6 hari lalu

llama.cpp b10085 memperbaiki grounding Qwen3-VL dengan menyelaraskan interpolasi embedding posisi

Proyek llama.cpp merilis build b10085, yang mencakup perbaikan untuk interpolasi embedding posisi model visi Qwen3-VL guna menyelesaikan ketidaksesuaian koordinat grounding.

github llama.cpp · 8 hari lalu · 2 tayangan

llama.cpp b10069 menambahkan dukungan broadcast OpenCL untuk Adreno MUL_MAT

Proyek llama.cpp merilis build b10069, yang mencakup pembaruan OpenCL spesifik untuk GPU Qualcomm Adreno. Perubahan utama melibatkan dukungan operasi broadcast untuk kernel Adreno MUL_MAT dan menghormati offset tampilan untuk varian Q8_0 MUL_MAT untuk mengaktifkan fungsionalitas multi-stream di llama-server.