Pesquisadores do Instituto de Modelos Fundamentais (IFM) estão realizando uma sessão de Pergunte-me Qualquer Coisa (AMA) sobre seu projeto K2 Horizon, lançado recentemente. A iniciativa consiste em uma frota conectada de seis modelos totalmente abertos, variando de 0.9B a 375B parâmetros.
- O IFM disponibilizou não apenas os pesos do modelo, mas também os dados de treinamento, receitas, código, checkpoints intermediários e logs detalhados.
- A AMA aborda tópicos como misturas de dados de pré-treinamento, técnicas de pós-treinamento, MoVA, atenção esparsa e implantação em dispositivo.
- Seis membros da equipe do IFM participarão da sessão ao vivo agendada para segunda-feira, 5 de outubro, das 20h às 22h PT.