研究人员推出了Queen,这是一个拥有40亿参数的国际象棋语言模型,其棋力达到典型特级大师水平,并能解释其走法和计划。该框架结合编码器-解码器架构与迭代蒸馏算法,以实现领域特定的推理。
- 通过交叉注意力机制将无声专家国际象棋编码器与指令微调的语言模型集成,并通过问答课程进行训练。
- 使用贝尔曼更新的自然语言类比来分析候选走法后的局面并整合解释。
- 经过七次迭代,棋力提升超过900 Elo分(从1782提升至2697),在棋力表现和谜题准确率方面超越了前沿模型。
- 尽管参数量少三个数量级,其解释流畅且连贯性接近GPT-5.6-Sol (high)。
作者认为,这种架构为将语言模型应用于拥有无声专家编码器的领域(如机器人技术和计算机使用)提供了可行方案。