Red Hat和NASA研究人员正在开发“乘组医疗官数字助手”(CMO-DA),这是一个医疗AI系统,可在本地硬件上运行大型语言模型,完全无需依赖云端。该举措旨在解决因光速延迟和通信中断导致地球远程医疗对月球或火星任务宇航员不切实际的问题。
CMO-DA利用RamaLama(一个由Red Hat支持的开源CLI工具)通过llama.cpp以及MLX和vLLM等其他引擎来管理推理过程。该系统将AI模型视为可移植的工件,从而在边缘硬件上实现可复现且经密码学验证的部署。NASA目前正使用模拟国际空间站 aboard HPE Spaceborne Computer 的地面硬件对该系统进行测试。
NASA采用本地优先架构,是因为机载计算资源受限,且需要可靠的医疗决策输出,别无其他可行方案。此次部署展示了本地和开源LLM在支持未来深空任务中的关键作用。