Un utilisateur exécute des LLM de plus de 100 milliards de paramètres sur du matériel entrée de gamme en utilisant MoE, le déchargement NVMe et la quantification

Un utilisateur de Reddit démontre l'exécution de modèles de langage larges dépassant 100 milliards de paramètres sur un ordinateur portable équipé d'un Intel i7-8750H, de 20 Go de RAM et d'un GPU GTX 1050 Mobile. La configuration repose largement sur le déchargement des paramètres du modèle vers un disque NVMe Samsung en utilisant un accès par fichier mappé en mémoire (mmap).

• L'utilisateur utilise strictement des modèles Mixture of Experts (MoE) pour éviter de submerger le CPU, tandis que les modèles denses sont jugés inadaptés.
• Les paramètres de quantification incluent Q3_K_M pour les grands modèles standards et Q2 pour ceux dépassant 700 milliards de paramètres avec plus de 20 milliards de paramètres actifs.
• Les modèles testés spécifiques incluent Deepseek-V4-Flash (UD-IQ3_XXS) atteignant 1,0 à 1,8 tokens par seconde et Nemotron-3-Super-120B-A12B (UD-Q3_K_M) atteignant 1,5 à 2,5 tokens par seconde.
• Le flux de travail utilise LM Studio avec un traitement par lots pour des tâches telles que l'ingénierie inverse et l'audit de code, prenant en charge une fenêtre de contexte de 16K à 90K tokens.

Cette configuration permet aux utilisateurs dans des régions aux options de paiement international restreintes d'utiliser des modèles locaux puissants comme alternative aux services cloud.