Artikel ini menggambarkan metode untuk mengonsolidasikan lalu lintas dari lebih dari 200 aplikasi internal ke satu model bahasa besar yang di-host sendiri guna mengatasi kendala residensi data dan fragmentasi GPU. Pendekatan ini menutup kesenjangan kualitas dalam mengikuti instruksi, pemanggilan fungsi, dan distribusi tugas internal dengan melatih ahli GRPO terpisah per sumbu dan menggabungkannya melalui SLERP dua tahap.

  • Kualitas dilacak menggunakan benchmark offline yang terstratifikasi sesuai lalu lintas produksi dan dinilai oleh penilai deterministik atau hakim LLM yang dikalibrasi.
  • Ahli GRPO terpisah menangani mode kegagalan spesifik: runtuh semantik, over-calling, dan hacking verbosity.
  • Model hasil konsolidasi melampaui baseline yang sekitar 7 kali lebih besar dalam total parameter pada benchmark internal.
  • Peningkatan spesifik meliputi skor Arena sebesar 69.6 versus 65.8, mengikuti instruksi sebesar 0.85 versus 0.83, dan pemanggilan fungsi sebesar 0.79 versus 0.77.

Model yang dikonsolidasikan menyerap 50% lalu lintas platform, menangani 116 juta permintaan per bulan dengan biaya penyajian yang jauh lebih rendah.