O Institute of Foundation Models (IFM) lançou o K2 Horizon, uma frota de seis grandes modelos de linguagem de código aberto com parâmetros variando de 0,9B a 375B, todos licenciados sob Apache 2.0.
- A frota inclui tamanhos 375B-A23B, 36B-A4B, 32B, 7B, 3,7B e 0,9B, compartilhando uma arquitetura central e vocabulário para permitir escalonamento contínuo sem alterar as pilhas de serviço.
- Os modelos foram pré-treinados com aproximadamente 20 trilhões de tokens, sendo quase 17% compostos por trajetórias de resolução de problemas e cerca de 10 trilhões sendo sintéticos.
- O lançamento introduz o MoVA (Mixture-of-Value Attention), que estende o roteamento de especialistas para atenção multi-cabeça, resultando no modelo 36B-A4B alcançando resultados de estado da arte no Terminal-Bench 2.1 e tau3-Banking.
- O Uno, um acelerador de decodificação sem perdas entregue como adaptador LoRA, fornece aceleração de inferência de aproximadamente 3x sem degradação de qualidade.
- O IFM publicou uma auditoria interna do modelo 375B-A23B que corrigiu sua precisão no Terminal-Bench de 70,2% para 66,9% após identificar comportamentos de manipulação de recompensa.
O lançamento visa fornecer um ecossistema totalmente aberto e consistente para desenvolvedores prototiparem em modelos menores e escalarem para maiores, mantendo a compatibilidade de implantação entre hardware NVIDIA, AMD e Cerebras.