Ai2 a lancé la plateforme OlmoEarth, un système d'infrastructure conçu pour faire passer les modèles de base d'observation de la Terre du réglage fin à l'inférence à grande échelle. La plateforme répond aux défis techniques liés au traitement de téraoctets de données satellitaires multimodales provenant de plusieurs fournisseurs et résolutions.

  • La couche d'exécution divise les tâches en trois étapes spécifiques au matériel : acquisition des données sur CPU, inférence sur GPU et post-traitement sur CPU.
  • Une carte continentale du risque d'incendie pour l'Amérique du Nord a utilisé 19 600 CPUs et 994 GPUs en parallèle, atteignant une accélération de 155× par rapport au calcul séquentiel.
  • Le système maintient sa propre indexation de métadonnées pour éviter de surcharger les API STAC externes, en utilisant des lectures par fenêtres sur des formats optimisés pour le cloud comme COG ou Zarr.
  • L'inférence sur des zones continentales prend environ un jour pour un coût de fractions de centime par kilomètre carré.

La plateforme permet aux organisations dépourvues de grandes équipes d'ingénierie de surveiller les changements environnementaux tels que la déforestation et le risque d'incendie en gérant l'intégralité du cycle de vie : préparation des données, exécution des modèles et assemblage des sorties.