media r/LocalLLaMA · 1 jam lalu · open_models

Microsoft mengonfirmasi OpenAI menggunakan Looped Transformers di GPT-6

Diterjemahkan dari English → Bahasa Indonesia

Sebuah halaman web Microsoft mengonfirmasi bahwa OpenAI telah menggunakan Looped Transformers dalam seri GPT-6, memvalidasi laporan sebelumnya dari The Information. Dokumentasi menunjukkan bahwa GPT-6.1 Sol menggunakan dua kali inferensi, berkurang dari tiga.

Artikel tersebut mencatat bahwa GPT-6 dan GPT-6.1 berbagi bobot model dasar pra-pelatihan yang sama tetapi berbeda dalam pasca-pelatihan, dengan GPT-6.1 menggunakan satu loop lebih sedikit.

Microsoft kemudian memperbarui halaman web untuk menghapus informasi ini.

Kepentingan 2/3 r/LocalLLaMA Microsoft Research OpenAI Research paper

Baca aslinya

Microsoft merilis RetroChimera untuk prediksi retrosintesis

Microsoft Research telah menerbitkan dan membuka sumber RetroChimera, sebuah kerangka kerja baru untuk prediksi retrosintesis yang menggabungkan dua model komplementer untuk mengusulkan rute sintesis berkualitas tinggi. Sistem ini mengintegrasikan R-SMILES 2, model de-novo berbasis Transformer, dengan NeuralLoc, model berbasis jaringan saraf graf (GNN), menggunakan strategi ensembling terlatih untuk meranking prediksi.

arxiv arXiv cs.LG · 20 hari lalu · 48 tayangan

OpenAI merilis Open-1B dengan pelatihan yang sepenuhnya dapat diaudit

OpenAI telah merilis Open-1B, sebuah model bahasa yang dilatih di bawah rezim di mana setiap operasi selama pelatihan dapat direproduksi secara independen pada perangkat keras komersial heterogen dengan kepastian bit demi bit. Pendekatan ini mengatasi masalah reproduktibilitas yang melekat pada model sumber terbuka dengan memberlakukan urutan tertentu pada sumber non-determinisme, seperti reduksi kernel GPU dan pengurutan batch data.

media Latent Space · 27 hari lalu · 56 tayangan

OpenAI klaim hasil singularitas Navier-Stokes yang dibantu AI menggunakan 10.000 agen

Akun-akun yang berafiliasi dengan OpenAI melaporkan bahwa upaya yang dibantu oleh AI menghasilkan temuan terkait masalah keberadaan dan keteraturan Navier-Stokes, salah satu dari Millennium Prize Problems. Klaim tersebut menyatakan bahwa sekitar 10.000 agen berkolaborasi dalam tugas ini setelah dilatih selama kira-kira satu tahun menggunakan pembelajaran penguatan multi-agen.

lab OpenAI News · 28 hari lalu · 66 tayangan

Sistem internal OpenAI membuktikan persamaan Navier–Stokes dapat mengembangkan singularitas dalam waktu terbatas

OpenAI melaporkan bahwa sistem AI internal telah menghasilkan bukti yang menunjukkan bahwa dinamika persamaan Navier-Stokes untuk gerakan fluida dapat mengembangkan singularitas dalam waktu terbatas. Solusi, yang diturunkan oleh sistem multi-agen yang didukung oleh model yang secara signifikan lebih mampu daripada GPT-6 Astra, menetapkan pernyataan "C" dari formulasi Hadiah Millennium.

arxiv arXiv cs.AI · 33 hari lalu · 64 tayangan

DisCo mendistilasi repositori GitHub menjadi lebih dari 5.000 keterampilan riset AI

Para peneliti mempresentasikan DisCo, agen otonom berbasis keterampilan yang dirancang untuk menjembatani kesenjangan dalam pengetahuan operasional untuk riset machine learning dengan mendistilasi keahlian dari repositori kode. Sistem ini memadatkan proyek sumber terbuka yang banyak digunakan menjadi keterampilan yang dapat digunakan kembali dan terverifikasi melalui dua bentuk pelengkap: distilasi agnostik-tugas dari ekosistem umum dan generasi berorientasi-tugas untuk kebutuhan spesifik.