Автор создал MOLT, среду выполнения с приоритетом для Windows, учитывающую тепловыделение при QLoRA-дообучении на потребительских видеокартах NVIDIA, и провёл её бенчмаркирование по сравнению с Unsloth на основе одного миллиона обучающих целей модели Qwen 1.5B на GPU RTX 4060 Laptop.

  • Общее время сеанса составило 1 103 секунды для MOLT против 1 433 секунд для Unsloth, что сокращает общее время обучения на 23%.
  • Пропускная способность обучения достигла 1 063 целей/с с MOLT по сравнению с 768 целями/с с Unsloth, что представляет собой увеличение на 38%.
  • Пиковый объём выделенной VRAM составил 1,63 ГБ для MOLT против 1,85 ГБ для Unsloth, что снижает потребление памяти на 12%.
  • Измеренное энергопотребление платы было практически идентичным: 63,1 кДж для MOLT и 63,8 кДж для Unsloth.

Автор отмечает, что это доказательства, полученные в условиях одной машины с одним сидом, и приглашает пользователей Windows с видеокартами NVIDIA воспроизвести бенчмарк и протестировать свои собственные рабочие нагрузки.