Ai2は、地球観測ファウンデーションモデルをファインチューニングから大規模推論まで移行するためのインフラシステムであるOlmoEarthプラットフォームをローンチした。このプラットフォームは、複数のプロバイダーと解像度間でテラバイト級のマルチモーダル衛星データを処理する際のエンジニアリング課題に対処している。
- 実行層はジョブを3つのハードウェア固有のステージに分割する:CPUベースのデータ取得、GPUベースの推論、およびCPUベースの後処理。
- 北米大陸規模の山火事リスクマップを作成するには、19,600個のCPUと994個のGPUを並列で使用し、直列計算と比較して155倍の高速化を実現した。
- システムは外部のSTAC APIが過負荷になるのを防ぐため独自のメタデータインデックスを維持し、COGやZarrなどのクラウド最適化フォーマットに対してウィンドウ読み込みを行う。
- 大陸規模の領域に対する推論には約1日かかり、コストは平方キロメートルあたり数セント未満である。
このプラットフォームにより、大規模なエンジニアリングチームを持たない組織でも、森林破壊や山火事リスクといった環境変化を監視することが可能になる。これはデータ準備、モデル実行、出力の結合という全ライフサイクルを処理することで実現している。