Prior Labsは、データセットごとの学習やチューニングなしに単一の順伝播で表形式データに対する予測を行う表形式ファウンデーションモデル「TabPFN-3.5」をリリースした。このモデルは、2015年Otto Group Product Classification Challengeのプライベートリーダーボードで0.375のスコアを記録し、Gilberto TitericzとStanislav Semenovが達成した元の優勝スコア0.382を上回った。

  • TabPFN-3.5は、TabArena、BeyondArena、STRABLE、MulTaBench、RelArena-α、TALENT、ScoringBenchの7つの表形式ベンチマークで1位を獲得した。
  • ベースモデルは220Mパラメータに拡大し、より広いコンテキスト内トランスフォーマー(1024次元)を搭載し、学習されたフーリエ特徴量とECDFランクをセルエンコーディングに使用している。
  • 単一のマルチタスクチェックポイントが分類と回帰の両方をカバーするようになり、量子化変換、ロバストスケーリング、SVD特徴量の必要性がなくなった。
  • モデルは最大1M行をサポートし、6,000個の推奨機能(20,000個までサポート)に対応し、RTX PRO 6000 GPUで約1分で実行可能である。
  • ファミリーにはTabPFN-3.5-Fast(84Mパラメータ)、TabPFN-3.5-Plus(テキスト処理対応のAPI/エンタープライズ向け)、TabPFN-3.5-Thinking(追加推論計算リソース付き)が含まれる。

今回のリリースでは研究、評価、Kaggle用のオープンウェイトが提供される一方、本番環境での使用にはPrior LabsのAPIまたは商用ライセンスが必要である。