media Hugging Face Forums · 1 jam lalu · open_models

Eqx-zoo menyediakan port Equinox terverifikasi dari model-model Hugging Face

Diterjemahkan dari English → Bahasa Indonesia

Penulis telah membangun eqx-zoo, sebuah library yang memuat checkpoint Hugging Face Hub langsung sebagai modul plain Equinox dan memverifikasi setiap model terhadap library transformers. Proyek ini saat ini mendukung Llama, Qwen2, Qwen3, Qwen3-MoE untuk generasi, dan BERT, RoBERTa, XLM-RoBERTa untuk embedding.

Verifikasi memastikan output float32 cocok dengan transformers lapis demi lapis dan generasi greedy mereproduksi token secara tepat.
Penulis menemukan bahwa membandingkan implementasi bf16 secara langsung adalah cacat karena perbedaan pembulatan, mengharuskan perbandingan terhadap float32 relatif terhadap error sumbernya.
Ditemukan bahwa JIT-mengompilasi decoder di XXL terukur kurang akurat daripada eager execution, sementara encoder tidak menunjukkan masalah ini.
Bug LayerNorm yang halus dalam bf16 hanya dapat dideteksi pada level blok, menyoroti perlunya pengujian granular.

Checkpoint terverifikasi tersedia dalam koleksi Hugging Face, dan library dapat diinstal melalui pip.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Local inference

Baca aslinya

AiiStream Q3.6 memungkinkan menjalankan Qwen3.6-35B-A3B di Mac dengan RAM 8-16 GB

Penulis telah merilis AiiStream Q3.6, sebuah teknik sumber terbuka yang memungkinkan model Qwen3.6-35B-A3B berjalan pada perangkat Apple Silicon dengan hanya 8 hingga 16 GB RAM. Dengan menyimpan ahli yang dialihkan di SSD dan menggunakan prediksi pemuatan awal, metode ini mengurangi penggunaan memori MLX menjadi sekitar 1,7 GB sambil mempertahankan output yang identik tingkat byte dibandingkan implementasi standar mlx_lm.

github llama.cpp · 4 hari lalu · 22 tayangan

llama.cpp b11307 mempertahankan urutan batch untuk decoding spekulatif

Proyek llama.cpp merilis build b11307, yang memperbaiki urutan input lapisan untuk mempertahankan urutan batch asli selama decoding spekulatif. Perubahan ini memastikan bahwa urutan token dipertahankan dengan benar untuk embedding NextN yang tidak dimask dan kompatibel dengan pemisahan tensor.

github llama.cpp · 4 hari lalu · 6 tayangan

llama.cpp b11301 memperbaiki overflow integer di ggml/gguf

Proyek llama.cpp telah merilis build b11301, yang mencakup perbaikan untuk masalah overflow integer dalam komponen ggml dan gguf. Pembaruan ini menangani logika validasi untuk mencegah potensi kesalahan saat menangani tensor nol elemen.

github llama.cpp · 4 hari lalu · 15 tayangan

llama.cpp b11302 memperbaiki race data ThreadSanitizer pada pengindeks jarang

Proyek llama.cpp merilis build b11302, yang mengatasi masalah konkurensi kritis yang diidentifikasi oleh ThreadSanitizer dalam pipeline CI. Pembaruan ini menyelesaikan race data dalam mekanisme perhatian jarang di mana beberapa utas CPU secara tidak benar menulis ke elemen memori yang sama.

github llama.cpp · 4 hari lalu · 8 tayangan

llama.cpp b11298 menambahkan dukungan dflash untuk konversi dan ekstraksi fitur

Proyek llama.cpp telah merilis build b11298, yang memperkenalkan dukungan untuk format dflash. Pembaruan ini memungkinkan konversi model ke format ini serta kemampuan ekstraksi fitur selanjutnya.