Llama-3.1-Dolphin-3.0-8B 기반 모델인 Eunoia를 개발한 그룹이 CC0 1.0 Universal 라이선스 하에 "The Forge"라는 특수화된 아키텍처 파이프라인과 알고리즘적 파인튜닝 전략을 오픈소스로 공개했습니다.

  • 이 접근 방식은 메모리 포화 및 정보 노이즈를 피하기 위해 무제한 컨텍스트 창보다 구조적 결정화를 우선시합니다.
  • 원본 코드에는 그라디언트 클리핑 비활성화와 RAM 단편화를 방지하기 위한 네이티브 FP32 캐싱 사용과 같은 베어메탈 CPU 클러스터용 최적화가 포함되어 있습니다.
  • 사용자 정의 데이터셋 클래스는 훈련 중 역사적 데이터의 컨텍스트 구조를 보존하기 위해 엄격한 선형 시퀀스 순서를 강제합니다.
  • 이번 릴리스에는 AGIO-CIMIENTO-dataset.txt, 50만 단어 이상의 평가 추적 로그, 그리고 일반 능력 유지력을 검증하기 위한 원본 GPQA Diamond 평가 결과가 포함됩니다.

저자들은 독립적인 재현과 더 빠른 하드웨어에서의 테스트를 장려하기 위해 실험을 처음부터 공개했으며, 최종 수학적 결과는 몇 일간의 훈련 후에야 비로소 알려질 것이라고 밝혔습니다.