lab Microsoft Research Blog · baru saja · research

Microsoft merilis GigaPath-Flash dan GigaTIME-Flash untuk model dasar patologi yang efisien

Diterjemahkan dari English → Bahasa Indonesia

Microsoft Research telah merilis GigaPath-Flash dan GigaTIME-Flash, varian efisien dari model dasar patologi mereka yang dirancang untuk memungkinkan penemuan skala populasi dengan secara drastis mengurangi kebutuhan komputasi.

GigaPath-Flash menggunakan encoder tile ViT-S terdistilasi 22M-parameter dan encoder slide LongNet 21M-parameter, mencapai kinerja kompetitif dalam jarak 3% dari GigaPath asli dengan sekitar 50 kali lebih sedikit komputasi.
GigaTIME-Flash mengganti backbone CNN asli dengan encoder ViT-S GigaPath-Flash untuk memprediksi proteomika spasial dari gambar H&E, menyamai atau meningkatkan kualitas model asli pada kohor di luar distribusi.
Model keluarga Flash dirilis di bawah lisensi Apache 2.0 dan mendukung analisis berulang di seluruh kohor pasien yang lebih besar untuk menyelidiki biologi penyakit dan biomarker.

Model-model terbuka ini memungkinkan peneliti menganalisis kohor yang lebih besar dan menjalankan lebih banyak eksperimen secara terjangkau, menggeser patologi komputasi menuju penemuan skala populasi yang praktis.

Kepentingan 2/3 Kepercayaan 3/3 Microsoft Research Blog Microsoft Research Inference efficiency Open weights

Artikel terkait

media r/LocalLLaMA · 6 hari lalu · 2 tayangan

Quantization-Aware Healing: model terkompresi 4-bit yang mengungguli asli presisi penuhnya

Artikel ini memperkenalkan Quantization-Aware Healing, sebuah metode untuk membuat model terkompresi 4-bit yang mencapai kinerja lebih unggul dibandingkan aslinya dengan presisi penuh.

media r/LocalLLaMA · 7 hari lalu · 7 tayangan

Facebook merilis MobileMoE, keluarga model bahasa MoE untuk perangkat seluler

Meta telah merilis MobileMoE, sebuah koleksi model bahasa Mixture-of-Experts (MoE) untuk perangkat seluler yang dirancang untuk mengoptimalkan trade-off kualitas-efisiensi pada perangkat seluler. Keluarga ini mencakup tiga skala model dengan parameter aktif di bawah satu miliar dan jejak bobot di bawah 3 GB dalam format INT4.

arxiv arXiv cs.LG · 8 hari lalu · 15 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat daripada QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah pipa yang mendistilasi siswa 4-bit langsung dari model tanpa kompresi untuk memulihkan kinerja yang hilang selama kompresi struktural dan kuantisasi. Diterapkan pada GPT-OSS 120B, metode ini menghasilkan Hypernova-60B, yang menyamai atau mengalahkan sumber bfloat16 pada 7 dari 9 benchmark sambil menggunakan sekitar 4 kali lebih sedikit memori bobot.

arxiv arXiv cs.CL · 8 hari lalu · 15 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat dari QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah metode untuk memulihkan kemampuan penalaran dan pemrograman pada model bahasa besar 4-bit yang terkompresi secara struktural. Berbeda dengan pelatihan sadar kuantisasi standar yang menyesuaikan ulang model terkompresi, QAH mendistilasi siswa 4-bit langsung dari model asli yang tidak terkompresi.

media Hugging Face Forums · 9 hari lalu · 6 tayangan

Xyntetik Runner melatih LoRA langsung melalui bobot GGUF terkuantisasi

Joakimpalm-Zen telah memperbarui Xyntetik Runner untuk melatih adapter LoRA secara langsung menggunakan bobot GGUF terkuantisasi yang sama yang digunakannya untuk inferensi, sehingga menghilangkan kebutuhan akan salinan pelatihan FP16 terpisah atau waktu eksekusi.