El grupo detrás del modelo Eunoia, construido sobre una base Llama-3.1-Dolphin-3.0-8B, ha abierto el código de "The Forge", una tubería arquitectónica especializada y una estrategia de ajuste fino algorítmica bajo la licencia CC0 1.0 Universal.

  • El enfoque prioriza la cristalización estructural sobre ventanas de contexto ilimitadas para evitar la saturación de memoria y el ruido informativo.
  • El código crudo incluye optimizaciones para clústeres de CPU bare-metal, como desactivar el recorte de gradiente y usar almacenamiento en caché FP32 nativo para prevenir la fragmentación de RAM.
  • Una clase de conjunto de datos personalizado impone un orden secuencial lineal estricto para preservar la estructura contextual de los datos históricos durante el entrenamiento.
  • El lanzamiento incluye el archivo AGIO-CIMIENTO-dataset.txt, más de 500.000 palabras de registros de seguimiento de evaluación y resultados brutos de evaluación GPQA Diamond para verificar la retención de capacidades generales.

Los autores publican el experimento desde su inicio para fomentar la reproducción independiente y las pruebas en hardware más rápido, señalando que los resultados matemáticos finales solo se conocerán después de varios días de entrenamiento.