Ai2 запустила платформу OlmoEarth — инфраструктурную систему, предназначенную для перевода моделей-основателей наблюдения за Землёй от тонкой настройки к выводу крупного масштаба. Платформа решает инженерные задачи обработки терабайтов мультимодальных спутниковых данных от нескольких поставщиков и с различным разрешением.
- Слой выполнения разделяет задания на три этапа, специфичных для оборудования: получение данных на CPU, вывод на GPU и постобработка на CPU.
- Для создания карты риска лесных пожаров континентального масштаба по Северной Америке использовалось 19600 CPU и 994 GPU параллельно, что обеспечило ускорение в 155 раз по сравнению с последовательными вычислениями.
- Система поддерживает собственный индекс метаданных, чтобы не перегружать внешние STAC API, используя оконное чтение оптимизированных для облаков форматов, таких как COG или Zarr.
- Вывод на территориях континентального масштаба занимает примерно сутки при стоимости доли цента за квадратный километр.
Платформа позволяет организациям без крупных инженерных команд отслеживать изменения окружающей среды, такие как вырубка лесов и риск лесных пожаров, обрабатывая полный жизненный цикл подготовки данных, выполнения модели и склейки результатов.