NASA menguji inferensi LLM lokal untuk misi luar angkasa masa depan

Peneliti dari Red Hat dan NASA sedang mengembangkan Crew Medical Officer Digital Assistant (CMO-DA), sebuah sistem AI medis yang menjalankan model bahasa besar pada perangkat keras lokal tanpa ketergantungan cloud sama sekali. Inisiatif ini mengatasi ketidakpraktisan telehealth berbasis Bumi bagi astronot dalam misi ke Bulan atau Mars karena penundaan cahaya dan blackout komunikasi.

CMO-DA memanfaatkan RamaLama, alat CLI open-source yang didukung oleh Red Hat, untuk mengelola inferensi melalui llama.cpp dan mesin lain seperti MLX dan vLLM. Sistem ini memperlakukan model AI sebagai artefak portabel, memungkinkan penyebaran yang dapat direproduksi dan diverifikasi secara kriptografis pada perangkat edge. NASA saat ini menguji sistem ini pada perangkat keras terestrial yang mencerminkan HPE Spaceborne Computer di Stasiun Luar Angkasa Internasional.

NASA mengadopsi arsitektur local-first karena kendala komputasi onboard dan kebutuhan akan output pengambilan keputusan medis yang andal tidak meninggalkan opsi lain yang layak. Penyebaran ini menunjukkan peran kritis LLM lokal dan terbuka dalam mendukung misi luar angkasa dalam masa depan.