Разработчик обсуждает проблемы, возникшие при реализации 2-слойного LSTM на C++, отмечая, что модель часто не сходится и демонстрирует нестабильные коэффициенты ошибок во время обучения.
Пользователь сообщает об использовании набора данных из 56k символов с входными слоями из 96 узлов, наблюдая, что ошибка часто превышает порог 3.0, несмотря на попытки нормализации градиентов и их обрезки.
Хотя архитектура успешно переобучается на элементарных тестах, автор ищет советы по улучшению стабильности без перестройки кода в один скрытый слой.