Группа, стоящая за моделью Eunoia, построенной на базе Llama-3.1-Dolphin-3.0-8B, открыла исходный код «The Forge», специализированного архитектурного конвейера и алгоритмической стратегии дообучения под лицензией CC0 1.0 Universal.
- Подход отдает приоритет структурной кристаллизации перед неограниченными контекстными окнами, чтобы избежать насыщения памяти и информационного шума.
- Исходный код включает оптимизации для кластеров CPU без виртуализации, такие как отключение обрезки градиентов и использование нативного кэширования FP32 для предотвращения фрагментации ОЗУ.
- Пользовательский класс набора данных строго соблюдает линейный порядок последовательностей для сохранения контекстной структуры исторических данных во время обучения.
- В релиз включены AGIO-CIMIENTO-dataset.txt, более 500 000 слов журналов отслеживания оценки и сырые результаты оценки GPQA Diamond для проверки сохранения общих возможностей.
Авторы публикуют эксперимент с самого начала, чтобы поощрить независимое воспроизведение и тестирование на более быстром оборудовании, отмечая, что окончательные математические результаты станут известны только после нескольких дней обучения.