Nums AIは、分類と回帰のための事前学習済み表形基礎モデルであるCausiloをリリースしました。このモデルは、TabArenaにおいて単一モデルの中で最も高いEloスコアを達成しています。Causiloは、トレーニング行を重み更新ではなくコンテキストとして保存するインコンテキストラーニングのアプローチを採用しており、Apache-2.0ライセンスのコードと事前学習済みウェイトがHugging Faceで公開されています。

  • Causiloは総合Elo 1794でTabArenaでトップに立ち、GoogleのTabFMやLG AI ResearchのEXAONE Tabularなどの単一モデルを上回ります。
  • ScoringBenchでは、101のデータセット全体でCRPS、R²、RMSEにおいて第1位を獲得しました。
  • アーキテクチャはクロスアテンションを使用し、特徴量数に対して線形な計算コストを実現しています。デフォルトでは8つのメンバーが重みを共有するアンサンブル構成となっています。
  • バージョン1.0.1では、回帰タスクのために中央値と分位数の出力が追加されました。
  • H100 GPUでの速度テストでは、Causiloはフィッティングと予測の両方で最速でしたが、TabPFN-3は大幅に少ないメモリを使用しました。

このモデルは研究および評価目的でCUDAまたはCPU上でデプロイ可能ですが、商用利用にはNums AIからの別途ライセンスが必要です。