研究者らは、MOJO(Masked autOencoder-based JOint training)を紹介している。これはスパイクトークン化モデル向けのフレームワークであり、マスク付きオートエンコーディングによる自己教師あり学習と教師あり学習の目的関数を組み合わせて活用する。このアプローチは、ペアリングされた行動ラベルを必要とする現在のモデルが教師あり学習に制限されているという限界に対処する。
- モキー運動野および多領域マウス記録を含む3つのスパイクデータセットで評価され、MOJOは純粋な教師あり学習モデルを上回る性能を示した。
- この改善は、特に限られたラベル付きデータでトレーニングする場合、具体的にはfew-shot finetuningシナリオにおいて顕著である。
- 自己教師あり学習を組み込むことで、より解釈可能な神経表現が得られ、明示的な最適化なしに脳領域分類およびスパイク統計予測の性能が向上する。
- MOJOは発話中のヒト電磁脳波(electrocorticography)にも一般化し、連続信号用に設計されたneuro-foundationモデルと同等の性能を達成した。
自己教師あり学習でスパイクトークン化モデルを拡張することで、ラベルが不足している環境での性能が向上し、さまざまなタスクや種間で未ラベルデータの使用が可能になる。