あるRedditユーザーが、Intel i7-8750H、20GB RAM、GTX 1050 Mobile GPUを搭載したノートPCで、1000億パラメータを超える大規模言語モデルの実行デモを行いました。このセットアップは、メモリマップドファイル（mmap）アクセスを使用して、SamsungのNVMeドライブにモデルパラメータをオフロードすることに大きく依存しています。

  • CPUが圧倒されないようにするために、ユーザーは厳格にMixture of Experts (MoE) モデルを採用しており、密なモデルは不適切とされています。
  • 量子化の設定には、標準的な大規模モデル用のQ3_K_Mと、200億超のアクティブパラメータを持つ700B超のモデル用のQ2が含まれます。
  • 特定のテスト済みモデルには、1.0〜1.8 tok/sを達成したDeepseek-V4-Flash (UD-IQ3_XXS) と、1.5〜2.5 tok/sを達成したNemotron-3-Super-120B-A12B (UD-Q3_K_M) が含まれます。
  • このワークフローは、リバースエンジニアリングやコード監査などのタスクにバッチスタイル処理を利用するLM Studioを使用し、16K〜90Kトークンのコンテキストウィンドウに対応しています。

この構成により、国際的な支払いオプションが制限されている地域のユーザーは、クラウドサービスの代替として強力なローカルモデルを利用することができます。