Nums AI a publié Causilo, un modèle fondamental tabulaire pré-entraîné pour la classification et la régression, qui obtient le score Elo le plus élevé parmi les modèles uniques sur TabArena. Le modèle utilise une approche d'apprentissage in-context où les lignes d'entraînement sont stockées comme contexte plutôt que de mettre à jour les poids, et il est disponible avec du code sous licence Apache-2.0 et des poids pré-entraînés sur Hugging Face.

  • Causilo domine TabArena avec un Elo global de 1794, surpassant des modèles uniques tels que TabFM de Google et EXAONE Tabular de LG AI Research.
  • Sur ScoringBench, il se classe premier par CRPS, R² et RMSE sur 101 ensembles de données.
  • L'architecture utilise l'attention croisée pour maintenir le coût computationnel linéaire par rapport au nombre de caractéristiques, avec une default d'ensemble de 8 membres partageant les poids.
  • La version 1.0.1 ajoute des sorties médianes et quantiles pour les tâches de régression.
  • Dans les tests de vitesse sur un GPU H100, Causilo était le plus rapide tant pour l'ajustement que pour la prédiction, bien que TabPFN-3 ait utilisé significativement moins de mémoire.

Le modèle est déployable pour la recherche et l'évaluation sur CUDA ou CPU, tandis que l'utilisation commerciale nécessite une licence distincte auprès de Nums AI.