ある開発者は、C++で2層のLSTMを実装する際に遭遇した課題について議論しており、モデルが収束しないことが多く、トレーニング中に不安定な誤差係数を示すと述べています。

ユーザーは96ノードの入力層を持つ56k文字のデータセットを使用しており、勾配正規化とクリッピングの試みにもかかわらず、誤差率が頻繁に3.0の閾値を超えると報告しています。

アーキテクチャは基礎的なテストで過学習することに成功していますが、著者はコードを単一の隠れ層に再構築せずに安定性を改善するためのアドバイスを探しています。