Upstage telah merilis Solar Open 2, model bahasa besar dengan bobot terbuka yang memiliki 250 miliar parameter dan dirancang untuk alur kerja agentic seperti produktivitas kantor dan pemrograman. Model ini memanfaatkan arsitektur Mixture-of-Experts Hybrid-Attention yang hanya mengaktifkan 15 miliar parameter per token untuk memberikan inferensi yang efisien.

  • Dilengkapi dengan jendela konteks 1M-token yang dicapai dengan menghapus encoding posisi demi pengurutan intrinsik dalam lapisan linear-attention.
  • Efisiensi pelatihan ditingkatkan dengan menginisialisasi model menggunakan transfer bobot selektif dari Solar Open 1, hanya membawa 2,3% bobot.
  • Arsitekturnya menyelingi tiga lapisan linear-attention dengan satu lapisan softmax-attention, mengurangi penggunaan memori KV cache menjadi sekitar seperempat dari model all-softmax.
  • Model ini mendukung bahasa Inggris, Korea, dan Jepang serta kompetitif dengan model bobot terbuka lainnya pada benchmark agentic.

Rilis ini menyediakan model berkapasitas tinggi yang dioptimalkan untuk tugas konteks panjang dan kemampuan pemanggilan alat sambil mempertahankan biaya inferensi yang rendah.