Nums AI는 분류 및 회귀를 위한 사전 학습된 표형 파운데이션 모델인 Causilo를 출시했으며, 이 모델은 TabArena에서 단일 모델 중 가장 높은 Elo 점수를 달성했습니다. 이 모델은 가중치를 업데이트하는 대신 훈련 행을 컨텍스트로 저장하는 인컨텍스트 학습 방식을 활용하며, Apache-2.0 라이선스 하에 Hugging Face에서 코드와 사전 학습된 가중치를 제공합니다.
- Causilo는 전체 Elo 1794로 TabArena에서 최상위를 기록했으며, Google의 TabFM과 LG AI Research의 EXAONE Tabular 같은 단일 모델들을 압도했습니다.
- ScoringBench에서 101개 데이터셋에 걸쳐 CRPS, R², RMSE 기준으로 1위를 차지했습니다.
- 아키텍처는 특징 수에 대해 계산 비용을 선형으로 유지하기 위해 크로스 어텐션을 사용하며, 기본적으로 가중치를 공유하는 8명의 멤버로 구성된 앙상블을 기본값으로 합니다.
- 버전 1.0.1은 회귀 작업에 대한 중앙값 및 양수출력을 추가했습니다.
- H100 GPU에서의 속도 테스트에서 Causilo는 피팅과 예측 모두에서 가장 빠르지만, TabPFN-3은 훨씬 적은 메모리를 사용했습니다.
이 모델은 연구 및 평가를 위해 CUDA 또는 CPU에서 배포할 수 있으며, 상업적 용도에는 Nums AI로부터 별도의 라이선스가 필요합니다.