L'auteur soutient que la mise à niveau d'un seul GPU vers deux GPUs offre des avantages supérieurs grâce au traitement parallèle plutôt qu'en permettant l'utilisation de quantisations de modèles plus grandes et de meilleure qualité. Pour les tâches de codage, la différence de qualité entre les quantisations Q4 et Q6/Q8 est minime, ce qui rend la fenêtre de contexte accrue et le débit plus précieux.

  • La configuration utilise un modèle Qwen 27B comme orchestrateur avec un contexte étendu pour gérer des sous-tâches divisées.
  • Les sous-agents, tels que Qwen 35B-A3B, gèrent des tâches étroites dans leurs limites de contexte de 115k et rendent compte avant de se terminer.
  • Cette architecture permet à trois agents de s'exécuter en parallèle, augmentant considérablement le débit global par rapport à un modèle unique.
  • Le système évite le déchargement fréquent des modèles et la compaction en gardant les sous-agents actifs pour des tâches spécifiques et bien définies.

Cette approche offre plus de valeur pratique que d'essayer d'exécuter de grands modèles 100B+ sur du matériel inadéquat, en réservant les modèles fermés SOTA uniquement pour des revues d'experts occasionnelles.