El autor ha desarrollado MOLT, un entorno de ejecución prioritario para Windows para el ajuste fino de QLoRA consciente de la temperatura en GPUs NVIDIA de consumo, y lo ha comparado con Unsloth utilizando un millón de objetivos de entrenamiento Qwen 1.5B en una GPU RTX 4060 Laptop.

  • El tiempo total de sesión fue de 1.103 segundos para MOLT frente a 1.433 segundos para Unsloth, lo que representa una reducción del 23% en el tiempo total de entrenamiento.
  • El rendimiento de entrenamiento alcanzó 1.063 objetivos/s con MOLT en comparación con 768 objetivos/s con Unsloth, lo que supone un aumento del 38%.
  • La VRAM máxima asignada fue de 1,63 GB para MOLT frente a 1,85 GB para Unsloth, una disminución del 12% en el uso de memoria.
  • El consumo de energía medido de la placa fue casi idéntico: 63,1 kJ para MOLT y 63,8 kJ para Unsloth.

El autor señala que esta es evidencia de desarrollo en una sola máquina y con una única semilla, e invita a los usuarios de GPUs NVIDIA en Windows a reproducir la prueba de rendimiento y probar sus propias cargas de trabajo.