Llama-3.1-Dolphin-3.0-8Bベース上に構築されたEunoiaモデルの開発グループは、CC0 1.0 Universalライセンスの下で、「The Forge」と呼ばれる専用アーキテクチャパイプラインおよびアルゴリズム的ファインチューニング戦略をオープンソース化した。

  • このアプローチは、メモリ飽和や情報ノイズを回避するため、無制限のコンテキストウィンドウよりも構造的結晶化を優先する。
  • 生コードには、グラデーションクリッピングの無効化やRAM断片化を防ぐためのネイティブFP32キャッシングなど、ベアメタルCPUクラスター向けの最適化が含まれている。
  • カスタムデータセットクラスは、トレーニング中に歴史的データの文脈的構造を保持するため、厳格な線形シーケンス順序を強制する。
  • リリースには、AGIO-CIMIENTO-dataset.txt、50万件以上の評価追跡ログの単語数、および一般的な能力維持を検証するための生GPQA Diamond評価結果が含まれている。

著者は、より高速なハードウェアでの独立した再現とテストを促進するため、実験を開始から公開しており、最終的な数学的結果は数日間のトレーニング後にのみ判明すると述べている。