研究者らは、グランドマスター並みの棋力を持ちながら指し手や計画を解説する40億パラメータのチェス言語モデル「Queen」を紹介した。このフレームワークはエンコーダ-デコーダアーキテクチャと反復蒸留アルゴリズムを組み合わせて、ドメイン固有の推論を実現する。

  • 質問回答カリキュラムを通じて学習された、サイレントエキスパートチェスエンコーダと指示微調整済みLMをクロスアテンションで統合。
  • 候補手後の局面分析と解説の統合に、ベルマン更新の自然言語アナログを使用。
  • 7回の反復でElo評価点900以上(1782から2697)向上し、プレイ強度とパズル精度において最先端モデルを上回る。
  • パラメータ数が3桁少ないにもかかわらず、解説は流暢でGPT-5.6-Sol (high) の一貫性に迫る。

著者らは、このアーキテクチャがロボット工学やコンピュータ操作など、サイレントエキスパートエンコーダを持つドメインに言語モデルを適用するためのレシピを提供すると示唆している。