ByteDance telah mengumumkan komitmen untuk mengembangkan model AI generasi berikutnya tanpa bergantung pada teknik distilasi AI.
Perusahaan ini berniat menempuh jalur pengembangan independen untuk model-model masa depannya.
media
r/LocalLLaMA
·
1 jam lalu
·
open_models
ByteDance berjanji menghindari distilasi AI dan mengembangkan model baru dengan caranya sendiri
Diterjemahkan dari English → Bahasa Indonesia
Artikel terkait
media
r/LocalLLaMA
·
7 jam lalu
·
3 tayangan
MiniMax merilis model generasi video H3 dengan bobot terbuka dan audio stereo asli
MiniMax merilis model generasi video omni-modal H3 dengan bobot terbuka di Hugging Face, yang menampilkan audio stereo asli yang dapat menggerakkan video dalam satu langkah maju. Model ini mendukung resolusi 2K pada 24fps untuk klip selama 5 hingga 15 detik dan menerima hingga sembilan gambar referensi, tiga video, dan tiga klip audio per generasi.
arxiv
arXiv cs.LG
·
3 hari lalu
U-OPSD memungkinkan distilasi diri on-policy tanpa pengawasan untuk LLM
Para peneliti mengusulkan Distilasi Diri On-Policy Tanpa Pengawasan (U-OPSD), sebuah metode yang mencapai peningkatan pasca-pelatihan untuk model bahasa besar hanya menggunakan generasi model itu sendiri tanpa supervisi eksternal. Pendekatan ini mengambil beberapa rollouts untuk membangun solusi pseudo melalui pemungutan suara mayoritas, lalu mendistilasi distribusi guru ke dalam awalan dari penyelesaian salah terpanjang model.
arxiv
arXiv cs.CL
·
6 hari lalu
·
1 tayangan
Douyin merilis model embedding multimodal DME dengan kinerja terkini
Douyin telah merilis laporan teknis untuk model Embedding Multimodal (DME)-nya, yang menggabungkan pra-pelatihan kontrasif skala besar dengan penalaran laten untuk mencapai diskriminasi dan efisiensi yang kuat.
media
r/LocalLLaMA
·
6 hari lalu
·
5 tayangan
AFM3 20B Apple menggunakan pruning mengikuti instruksi untuk mengaktifkan ~20% lapisan
Apple telah memperkenalkan arsitektur baru untuk model fondasi generasi ketiganya (AFM3) yang memanfaatkan "Pruning Mengikuti Instruksi" untuk secara signifikan mengurangi jumlah parameter aktif. Model ini dirancang untuk mengaktifkan sekitar 20% dari lapisan MLP-nya dengan membuat keputusan routing sekali per prompt, bukan per token.
media
MarkTechPost
·
8 hari lalu
·
4 tayangan
NVIDIA NeMo merilis Molt, kerangka kerja RL agentic PyT-native yang ringkas
Tim NeMo NVIDIA telah merilis Molt, sebuah kerangka kerja pembelajaran penguatan agentic sumber terbuka yang dirancang untuk mengurangi kompleksitas iterasi algoritma bagi para peneliti. Basis kode ini terdiri dari sekitar 8.6K baris kode RL, jauh lebih kecil dibandingkan kerangka kerja sebanding seperti verl (62K baris) dan slime (25K baris).