arxiv Moonshot AI (arXiv) · 513 hari lalu

Gemma 3 memperkenalkan visi, konteks panjang, dan kinerja yang ditingkatkan

Diterjemahkan dari English → Bahasa Indonesia

Google DeepMind telah merilis laporan teknis Gemma 3, memperkenalkan pembaruan multimodal ke keluarga model terbuka ringan Gemma yang berkisar dari 1 hingga 27 miliar parameter. Versi ini menambahkan pemahaman visual, mendukung setidaknya 128K token konteks, dan memodifikasi arsitektur untuk mengurangi penggunaan memori KV-cache.

Arsitektur model meningkatkan rasio lapisan perhatian lokal terhadap global dan mempertahankan rentang perhatian lokal yang pendek untuk mengelola memori konteks panjang.
Pelatihan memanfaatkan distilasi, dengan resep pasca-pelatihan baru yang secara signifikan meningkatkan kemampuan matematika, obrolan, penurutan instruksi, dan multibahasa.
Gemma3-4B-IT mencapai kinerja yang sebanding dengan Gemma2-27B-IT, sementara Gemma3-27B-IT kompetitif dengan Gemini-1.5-Pro di berbagai benchmark.

Para penulis merilis semua model kepada komunitas, bertujuan untuk memberikan kinerja yang lebih unggul dibandingkan versi sebelumnya untuk aplikasi pra-pelatihan dan penyetelan halus instruksi.

Kepentingan 2/3 Moonshot AI (arXiv) Google DeepMind Open weights Research paper

Artikel terkait

lab Google DeepMind Blog · 3 jam lalu · 2 tayangan

Google DeepMind merilis model AI WeatherNext untuk prakiraan siklon secara sumber terbuka

Google DeepMind dan Google Research telah merilis model AI WeatherNext 2 dan WeatherNext Cyclones secara sumber terbuka, yang mencapai akurasi terbaik dalam memprediksi lintasan, intensitas, dan struktur angin siklon tropis. Dipublikasikan di Nature, penelitian ini menunjukkan bahwa model-model ini memberikan prakirawan tambahan satu hari akurasi prediktif dibandingkan sistem sebelumnya.

media r/LocalLLaMA · 30 hari lalu

Google merilis laporan teknis Gemma 4

Google telah menerbitkan laporan teknis untuk keluarga model Gemma 4. Dokumen tersebut tersedia di arXiv.

arxiv arXiv cs.LG · 9 hari lalu · 1 tayangan

Moonshot AI merilis Kimi K3, model MoE 2.8T parameter dengan konteks jutaan token

Moonshot AI telah memperkenalkan Kimi K3, model Mixture-of-Experts sumber terbuka yang memiliki total 2,8 triliun parameter dan 104 miliar parameter aktif per token. Model ini mendukung kemampuan visi asli dan jendela konteks 1 juta token, memanfaatkan Kimi Delta Attention dan Stable LatentMoE untuk mencapai efisiensi penskalaan sekitar 2,5x dibandingkan pendahulunya, Kimi K2.

arxiv arXiv cs.CL · 10 hari lalu · 4 tayangan

Moonshot AI merilis Kimi K3, model MoE 2.8T dengan konteks jutaan token

Moonshot AI memperkenalkan Kimi K3, model Mixture-of-Experts sumber terbuka yang memiliki 2,8 triliun parameter total dan 104 miliar parameter teraktivasi per token. Arsitekturnya memanfaatkan kemampuan visi asli dan mendukung jendela konteks 1 juta token, yang diaktifkan oleh Kimi Delta Attention dan Stable LatentMoE.

media r/LocalLLaMA · 14 hari lalu · 2 tayangan

Arcee dan Departemen Energi bermitra untuk membangun Genesis-Science-1

Arcee, pengembang model bobot terbuka di AS, telah bermitra dengan Departemen Energi untuk membuat Genesis-Science-1. Kolaborasi ini menghasilkan model terbuka yang dirancang khusus untuk penelitian ilmiah.