基礎モデル研究所(IFM)の研究者らは、最近リリースされたK2 Horizonプロジェクトについて「何でも質問」セッションを開催しています。このイニシアチブは、0.9Bから375Bパラメータの範囲にある6つの完全オープンなモデルで構成される接続されたフリートです。

  • IFMはモデルウェイトだけでなく、トレーニングデータ、レシピ、コード、中間チェックポイント、細粒度ログもオープンソース化しました。
  • AMAでは、プリトレーニングデータのミックス、ポストトレーニング技術、MoVA、スパースアテンション、デバイス上デプロイメントなどのトピックがカバーされます。
  • IFMのチームメンバー6名が、10月5日(月)午後8時〜10時(太平洋時間)に予定されているライブセッションに参加します。