Local inference — korshunov.ai

Local inference Halaman 1 / 5

github llama.cpp · 1 jam lalu · 10 tayangan Langsung

llama.cpp b11120 menyembunyikan simbol internal Vulkan untuk memperbaiki penghancuran state

Proyek llama.cpp merilis versi b11120, yang mengatasi bug kritis pada backend Vulkan dengan menyembunyikan simbol internal. Perubahan ini mencegah masalah penghancuran state akibat duplicate-dlopen yang terjadi ketika simbol internal diekspor.

github llama.cpp · 6 jam lalu · 13 tayangan

llama.cpp b11118 memperkenalkan direktori DMA terpetakan langsung untuk penanganan mask FA HVX

Proyek llama.cpp telah merilis build b11118, yang mencakup fitur hex-dma baru yang memperkenalkan direktori DMA terpetakan langsung lebih cocok untuk penanganan mask FA Hexagon Vector eXtended (HVX).

github llama.cpp · 17 jam lalu · 9 tayangan

llama.cpp menambahkan dukungan DFlash untuk HunyuanOCR dan memperbaiki konversi draf

Proyek llama.cpp telah menambahkan dukungan untuk dekode spekulatif DFlash dengan model HunyuanOCR dengan mengekspos tensor input lapisan dalam grafik target. Perubahan ini memungkinkan model draf membaca aliran residual, sehingga permintaan gambar dapat berjalan sukses dengan tingkat penerimaan draf sekitar 0,5 dan output OCR yang identik secara byte dibandingkan dengan eksekusi non-spekulatif.

github llama.cpp · 17 jam lalu · 13 tayangan

llama.cpp b11104 menambahkan dukungan untuk mengikat llama-server ke beberapa alamat

Proyek llama.cpp merilis versi b11104, memperkenalkan fitur baru yang memungkinkan komponen llama-server untuk mengikat ke beberapa alamat jaringan secara bersamaan.

github llama.cpp · 19 jam lalu · 15 tayangan

llama.cpp b11102 menambahkan dukungan untuk MiMo-V2.6

Proyek llama.cpp merilis build b11102, yang memperkenalkan dukungan untuk mengonversi model MiMo-V2.6.

lab Hugging Face Blog · 21 jam lalu · 10 tayangan

Transformers menambahkan dukungan GGUF melalui kernel ggml untuk inferensi lokal

Pustaka Transformers dari Hugging Face kini mendukung pemuatan model terkuantisasi GGUF, memanfaatkan kernel ggml di bawahnya untuk membawa performa mendekati llama.cpp. Integrasi ini memungkinkan pengembang menjalankan checkpoint terkuantisasi langsung dalam API berbasis PyTorch standar pada perangkat keras yang didukung.

lab Hugging Face Blog · 1 hari lalu · 11 tayangan

Pencipta oMLX Jun Kim bergabung dengan Hugging Face untuk mendukung komunitas MLX

Jun Kim, pencipta dan pemelihara oMLX, telah bergabung dengan Hugging Face untuk mendukung komunitas MLX. Langkah ini bertujuan untuk memberikan stabilitas dan pengembangan yang lebih cepat bagi proyek sumber terbuka dengan mengubahnya dari pekerjaan sampingan menjadi inisiatif yang sepenuhnya dipelihara dan didanai.

media Hugging Face Forums · 1 hari lalu · 11 tayangan

Pengguna mencari alur kerja untuk abliterasi Llama-Krikri-8B-Instruct guna penggunaan bahasa Yunani secara lokal

Seorang pengguna berencana membangun model bahasa besar (LLM) asli bahasa Yunani tanpa sensor untuk penyebaran lokal menggunakan checkpoint ilsp/Llama-Krikri-8B-Instruct. Rencana yang diusulkan melibatkan abliterasi model dengan Heretic (heretic-llm), konversi ke format GGUF Q4_K_M, dan menjalankan inferensi pada perangkat GMKtec EVO-X3 yang dilengkapi prosesor AMD Ryzen AI MAX+ 395 melalui Vulkan.

github llama.cpp · 1 hari lalu · 14 tayangan

llama.cpp b11090 memperbaiki kesalahan kompilasi tile sm_70

Proyek llama.cpp merilis versi b11090, yang mencakup perbaikan untuk kesalahan kompilasi tile sm_70. Pembaruan ini menggeneralisasi bentuk tile fungsi load_ldmatrix 5 argumen untuk menyelesaikan ketidakcocokan dengan arsitektur Volta.

github llama.cpp · 2 hari lalu · 12 tayangan

Rilis llama.cpp b11081 dengan stdev data tensor yang dapat dikonfigurasi dan alat pengujian yang ditingkatkan

Proyek llama.cpp telah merilis build b11081, yang mencakup beberapa pembaruan pada infrastruktur pengujian `test-llama-archs`. Perubahan utama meliputi pembuatan standar deviasi data tensor yang dapat dikonfigurasi, perluasan contoh penggunaan, dan penambahan dukungan untuk pola regex arsitektur.

github llama.cpp · 2 hari lalu · 11 tayangan

llama.cpp b11074 memperbaiki penanganan enum JSON

Proyek llama.cpp merilis build b11074, yang mencakup perbaikan untuk penanganan enum JSON. Pembaruan ini menambahkan dukungan common_json_value untuk nilai enum dan menyederhanakan kode dengan mendelegasikan konstruktor enum ke konstruktor tipe dasar.

github llama.cpp · 2 hari lalu · 14 tayangan

llama.cpp b11067 menambahkan GDN + salinan terpadu ke WebGPU

Proyek llama.cpp telah merilis build b11067, yang memperkenalkan operasi GDN + salinan terpadu untuk backend WebGPU.

github llama.cpp · 3 hari lalu · 16 tayangan

llama.cpp b11060 memperbaiki proyeksi langkah waktu Mamba dan melewatkan salinan kontigu

Proyek llama.cpp merilis build b11060, yang mencakup perbaikan untuk model Mamba agar memastikan input proyeksi langkah waktu bersifat kontigu. Perubahan ini mengatasi masalah tata letak memori dalam implementasi Mamba.

github llama.cpp · 4 hari lalu · 16 tayangan

llama.cpp b11054 mengaktifkan dukungan TOP_K Hexagon

Proyek llama.cpp merilis versi b11054, yang menambahkan dukungan untuk operator TOP_K pada DSP Qualcomm Hexagon. Pembaruan ini mencakup optimasi untuk pemrosesan baris tunggal dan perbaikan untuk partisi baris.

github llama.cpp · 4 hari lalu · 16 tayangan

llama.cpp b11055 menambahkan dukungan GEGLU_QUICK untuk Hexagon

Proyek llama.cpp telah merilis versi b11055, yang memperkenalkan dukungan untuk fungsi aktivasi GEGLU_QUICK pada DSP Hexagon.

github llama.cpp · 4 hari lalu · 29 tayangan

llama.cpp b11053 meningkatkan log startup server dengan menampilkan sumber model

Proyek llama.cpp merilis versi b11053, yang mencakup peningkatan spesifik pada pesan log startup server. Perubahan ini meningkatkan visibilitas tentang bagaimana model dimuat dengan mengganti penanda kriptik dengan tag sumber eksplisit.

github llama.cpp · 4 hari lalu · 19 tayangan

llama.cpp b11048 menambahkan operasi HC qwen4exp dan biner baru

Proyek llama.cpp telah merilis build b11048, yang memperkenalkan dukungan untuk varian operasi HC DSV4 baru yang digunakan oleh qwen4exp. Pembaruan ini mencakup implementasi spesifik untuk hc_pre dengan gerbang sigmoid per-elemen dan hc_post dengan pencampuran identitas.

media Hugging Face Forums · 4 hari lalu · 9 tayangan