研究により、双曲的基盤を持つ小規模言語モデル(146 M〜3 Bパラメータ)が、創造性、誠実さ、意図的な忘却を示すことが示され、コンパニオンAIの評価のための信頼できるツールの欠如に対処している。
- 146 Mの行動監査員は、90.7%のバイナリ準拠精度でコンプライアンスギャップを検出し、低い合意度(Fleiss kappa = 0.074)を示した訓練された人間評価者を上回った。
- 監査員は、見知らぬジェネレーターファミリーにおいて、コンパニオン由来の同調行動と捏造された記憶をAUROC 0.804で特定し、これは最先端のゼロショット判定器の0.721と比較して優れている。
- クリエイティブなフレームシーダーは、4つのプロンプティングベースラインとの311件の決定されたペアワイズ比較において100%で好まれた。
- メモリオペレーティングシステムは、M(t) = S*exp(-lambda*t)の式を用いて意図的な忘却を実装し、選択的取得ゲート下で予測されるスケルトン-wallpaperパーティションが現れる。
著者らは、これらの特性が信頼できるコンパニオンAIへの小規模モデルの道筋を提供すると結論づけている。