SberbankのAI Sageは、長いコンテキストの効率化にGated DeltaNetを活用した432B-A28B Mixture of Experts (MoE)モデル「GigaChat-3.5 Reasoning」をリリースしました。

このモデルは、CISPOを通じてコード、数学、一般的なタスクの分野専門家を用いてトレーニングされ、その後on-policy distillationによって単一モデルに蒸留されました。評価では、推論トレースでのトークン使用量を37%削減しながら、DeepSeek V4 Flash Previewに近いパフォーマンスを発揮しています。

重みはHugging FaceでMITライセンスの下で公開されており、モデルはgiga.chatでテストできます。