Induction Labs telah merilis Photon-1, sebuah transformer campuran ahli (mixture-of-experts) sparse 106B-A5B yang belajar mensimulasikan lingkungan desktop dan bermain game dengan memprediksi frame masa depan dari video mentah tanpa label aksi. Model ini menggunakan kuantisasi skalar hingga untuk mengompresi setiap frame menjadi 960 token diskrit, mencapai kompresi lebih dari 100 kali lebih baik daripada representasi yang ada sambil mempertahankan detail teks dan tata letak.
- Photon-1 dipra-dilatih pada 575 juta frame (sekitar 18 tahun video) dari korpus terfilter berisi 2 miliar video publik.
- Pelatihan membutuhkan sekitar 30.000 jam GPU H200 dan 4,4×10²² FLOPs, menggunakan tujuan prediksi token laten berikutnya.
- Pada benchmark penggunaan komputer internal, Photon-1 mengungguli Gemini 3.1 Flash-Lite sambil menggunakan sekitar 27 kali lebih sedikit komputasi pra-pelatihan.
- Setelah penyetelan halus pada kurang dari 35.000 trajektori, model ini mengalahkan baseline dalam permainan catur dan memodelkan fisika biliar dengan galat mutlak rata-rata sebesar 0,47.
Penelitian ini menunjukkan bahwa prediksi keadaan masa depan mengajarkan kebijakan implisit untuk penyelesaian tugas, meskipun Induction Labs mencatat bahwa ini adalah hasil penelitian tanpa bobot atau API yang tersedia.