Red HatとNASAの研究者は、クラウド依存ゼロでローカルハードウェア上で大規模言語モデルを実行する医療AIシステム「乗組員医療官デジタルアシスタント（CMO-DA）」を開発しています。この取り組みは、光の遅延や通信の途絶により、月または火星ミッションでの宇宙飛行士に対して地球ベースの遠隔医療が非現実的であるという課題に対処します。

CMO-DAは、Red Hatが支援するオープンソースのCLIツールであるRamaLamaを使用し、llama.cppやMLX、vLLMなどのエンジンを通じて推論を管理します。このシステムはAIモデルをポータブルなアーティファクトとして扱い、エッジハードウェア上で再現可能かつ暗号学的に検証可能なデプロイメントを可能にします。NASAは現在、国際宇宙ステーション aboard のHPE Spaceborne Computerと同等の地上用ハードウェアでこのシステムをテストしています。

NASAがローカルファーストアーキテクチャを採用したのは、機上での計算リソースの制約と、信頼性の高い医療判断出力の必要性により、他に選択肢がないためです。このデプロイメントは、将来の深宇宙ミッションを支えるためにローカルおよびオープンなLLMが果たす重要な役割を示しています。