Des chercheurs de l'Institut des Modèles Fondamentaux (IFM) organisent une session « Ask Me Anything » (AMA) concernant leur projet K2 Horizon récemment publié. L'initiative consiste en une flotte connectée de six modèles entièrement ouverts, allant de 0,9B à 375B paramètres.

  • L'IFM a open-sourcé non seulement les poids du modèle, mais aussi les données d'entraînement, les recettes, le code, les points de contrôle intermédiaires et les journaux détaillés.
  • L'AMA couvre des sujets tels que les mélanges de données de pré-entraînement, les techniques de post-entraînement, MoVA, l'attention clairsemée et le déploiement sur appareil.
  • Six membres de l'équipe de l'IFM participeront à la session en direct prévue pour lundi 5 octobre, de 20h à 22h PT.