NASA, 미래 우주 임무를 위한 로컬 LLM 추론 테스트

Red Hat와 NASA 연구원들은 클라우드 의존성 없이 로컬 하드웨어에서 대규모 언어 모델을 실행하는 의료 AI 시스템인 승무원 의료관 디지털 어시스턴트(CMO-DA)를 개발하고 있습니다. 이 계획은 광속 지연 및 통신 차단으로 인해 달 또는 화성 임무 중 우주비행사에게 지상 기반 원격의료는 비현실적이라는 문제를 해결합니다.

CMO-DA는 Red Hat가 후원하는 오픈소스 CLI 도구인 RamaLama를 사용하여 llama.cpp 및 MLX, vLLM과 같은 다른 엔진을 통해 추론을 관리합니다. 이 시스템은 AI 모델을 휴대 가능한 아티팩트로 취급하여 에지 하드웨어에서 재현 가능하고 암호학적으로 검증 가능한 배포를 가능하게 합니다. NASA는 현재 국제우주정거장 aboard 의 HPE Spaceborne Computer와 동일한 지상용 하드웨어에서 이 시스템을 테스트하고 있습니다.

NASA가 로컬 퍼스트 아키텍처를 채택한 이유는 탑재 컴퓨팅 제약과 신뢰할 수 있는 의료 결정 출력의 필요성 때문에 다른 대안이 없기 때문입니다. 이번 배포는 미래 심우주 임무를 지원하기 위해 로컬 및 오픈 LLM이 중요한 역할을 수행함을 보여줍니다.