lab Hugging Face Blog · 1 hari lalu · releases

Pencipta oMLX Jun Kim bergabung dengan Hugging Face untuk mendukung komunitas MLX

Diterjemahkan dari English → Bahasa Indonesia

Jun Kim, pencipta dan pemelihara oMLX, telah bergabung dengan Hugging Face untuk mendukung komunitas MLX. Langkah ini bertujuan untuk memberikan stabilitas dan pengembangan yang lebih cepat bagi proyek sumber terbuka dengan mengubahnya dari pekerjaan sampingan menjadi inisiatif yang sepenuhnya dipelihara dan didanai.

Jun Kim akan terus memimpin oMLX di bawah lisensi Apache 2.0.
Proyek ini akan berfungsi sebagai tempat uji coba untuk ide-ide baru sambil memanfaatkan dependensi seperti mlx-lm dan mlx-vlm.
Fokus utama adalah menyederhanakan transisi dari definisi model transformers ke implementasi referensi MLX.
Hugging Face bertujuan memperkuat hubungan dengan proyek-proyek seperti LMStudio, mlx-lm, dan mlx-vlm.

Kolaborasi ini berupaya membuka hambatan bagi komunitas dengan menyediakan alat dan blok bangunan untuk menjalankan AI lokal dalam berbagai bentuk.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Blog Hugging Face Apple ML Local inference

Baca aslinya

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 17 jam lalu · 9 tayangan

llama.cpp menambahkan dukungan DFlash untuk HunyuanOCR dan memperbaiki konversi draf

Proyek llama.cpp telah menambahkan dukungan untuk dekode spekulatif DFlash dengan model HunyuanOCR dengan mengekspos tensor input lapisan dalam grafik target. Perubahan ini memungkinkan model draf membaca aliran residual, sehingga permintaan gambar dapat berjalan sukses dengan tingkat penerimaan draf sekitar 0,5 dan output OCR yang identik secara byte dibandingkan dengan eksekusi non-spekulatif.

lab Hugging Face Blog · 21 jam lalu · 10 tayangan

Transformers menambahkan dukungan GGUF melalui kernel ggml untuk inferensi lokal

Pustaka Transformers dari Hugging Face kini mendukung pemuatan model terkuantisasi GGUF, memanfaatkan kernel ggml di bawahnya untuk membawa performa mendekati llama.cpp. Integrasi ini memungkinkan pengembang menjalankan checkpoint terkuantisasi langsung dalam API berbasis PyTorch standar pada perangkat keras yang didukung.

github llama.cpp · 4 hari lalu · 21 tayangan

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 6 hari lalu · 15 tayangan

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.