Um usuário pediu ao Codex para otimizar o tempo de execução do oMLX para o modelo afim DeepSeek V4 Flash de 8 bits de 302 GB, resultando em ganhos significativos de desempenho em um Mac Studio M3 Ultra. As alterações permitem núcleos Metal nativos do DeepSeek MoE e substituem a ordenação genérica de rotas por caminhos de balde/contagem.

  • A velocidade de pré-carregamento aumentou de ~300 tok/s para ~533 tok/s para um prompt de 12K.
  • A velocidade de decodificação melhorou de ~7,31 tok/s para ~20-22 tok/s em benchmarks controlados.
  • Execuções reais do Hermes com contexto de 80K-120K mantiveram velocidades de decodificação em torno de 19,5-20,7 tok/s.
  • A otimização adiciona instanciações de núcleos Metal afins de 8 bits e núcleos de decodificação indexados por rota para reduzir a sobrecarga.

O autor busca verificação da comunidade de que as alterações não causam perda significativa de precisão, observando que os pesos e os formatos de quantização permanecem inalterados.