media r/LocalLLaMA · 1 jam lalu · open_models

Arcee AI dan DOE mengumumkan Genesis-Science-1, model bobot terbuka 1T untuk penelitian ilmiah

Diterjemahkan dari English → Bahasa Indonesia

Departemen Energi (DOE) dan Arcee AI telah mengumumkan pengembangan Genesis-Science-1 (GS1), sebuah model bahasa bobot terbuka yang dirancang khusus untuk penelitian ilmiah. Inisiatif ini merupakan bagian dari Misi Genesis, bertujuan membawa kemampuan AI canggih ke berbagai bidang ilmiah melalui kerja sama antara lembaga pemerintah dan perusahaan swasta.

GS1 adalah model bahasa kelas triliunan parameter yang dibangun di atas model Trinity generasi berikutnya dari Arcee.
Proyek ini melibatkan ilmuwan DOE dalam menentukan masalah dan menyediakan data, sementara Arcee menangani komputasi, pelatihan, pasca-pelatihan, dan pembangunan sistem.
Model ini akan dirilis secara terbuka akhir tahun ini, termasuk bobot, laporan teknis, dan demonstrasi publik.
Kolaborasi ini menjawab kebutuhan lembaga-lembaga Amerika untuk memiliki model terbuka yang stabil, aman, dan adaptif tanpa bergantung pada rantai pasok asing atau sistem tertutup.

Para penulis menganggap hal ini penting karena memberikan institusi berbasis AS, seperti laboratorium nasional dan rumah sakit, opsi andal untuk menyimpan, menyesuaikan, dan menjalankan model AI ilmiah sesuai ketentuan mereka sendiri tanpa mengirim data sensitif ke pihak eksternal.

Kepentingan 2/3 r/LocalLLaMA Open weights Research paper

Artikel terkait

media r/LocalLLaMA · 12 hari lalu

Tencent merilis HiLS-Attention-7B dengan perhatian jarang per-kuint

Tencent telah merilis checkpoint HiLS-Attention-7B, sebuah model dengan 7 miliar parameter yang dibangun di atas backbone bergaya OLMo3. Model ini mengimplementasikan mekanisme perhatian jarang per-kuint yang mempelajari pemilihan kuint secara end-to-end di bawah kerugian pemodelan bahasa.

arxiv arXiv cs.AI · 13 hari lalu

DiaLLM menyelidiki kesenjangan robustness-pembuatan dalam adaptasi dialek Inggris

Studi DiaLLM mengatasi ketidaksesuaian antara pemahaman dan produksi bahasa Inggris dialek dengan melakukan pra-pelatihan berkelanjutan pada tiga keluarga model bahasa bobot terbuka di Korpus Internasional Bahasa Inggris. Studi ini menerapkan paradigma pasca-pelatihan implisit dan eksplisit yang dikombinasikan dengan tiga strategi penyesuaian untuk membandingkan bahasa Inggris Australia, India, dan Inggris Utara.

arxiv arXiv cs.CL · 14 hari lalu

DiaLLM menyelidiki kesenjangan robustness-generasi dalam adaptasi dialek Inggris

Studi DiaLLM mengungkapkan bahwa robustness dialektal dan generasi terdisosiasi dalam model bahasa besar, karena benchmark yang dibentuk oleh pra-pelatihan berkelanjutan tidak menangkap bagaimana penyesuaian membentuk ulang output aktual. Penulis melakukan pra-pelatihan berkelanjutan pada tiga keluarga model bobot terbuka menggunakan International Corpus of English dan menerapkan paradigma pasca-pelatihan implisit dan eksplisit yang dikombinasikan dengan tiga strategi penyesuaian untuk Inggris Australia, India, dan Inggris Utara.\n\n- Adaptasi yang ditargetkan secara eksplisit ke variasi menghasilkan output yang secara andal dikenali sebagai dialektal dan lebih disukai daripada penyesuaian luas.

media r/LocalLLaMA · 14 hari lalu

Qllm merilis model inferensi O(1) tanpa cache KV

Seorang peneliti telah merilis Qllm, sebuah arsitektur model bahasa besar baru yang mencapai waktu inferensi O(1) dengan menghilangkan kebutuhan akan cache kunci-nilai (KV). Model 100M parameter ini dibangun berdasarkan asosiativitas fase dan tidak bergantung pada struktur transformer atau mamba.

media r/LocalLLaMA · 15 hari lalu

Srijan Srivastava melatih model Silia 117M-parameter di H100 dalam 5 jam

Srijan Srivastava telah melatih model dengan 117 juta parameter menggunakan arsitektur Silia kustom, memanfaatkan sponsor komputasi untuk menyelesaikan pelatihan hanya dalam lima jam di GPU NVIDIA H100.