ある開発者が、8GBから128GBまでの特定のRAMおよびVRAMティアに収まるローカル大規模言語モデルの詳細を含むオープンデータセットをGitHubで公開しました。このプロジェクトは、16GB MacBookやNVIDIA RTX 3060のようなハードウェアに対するモデルの互換性を判断する一般的な難しさを解決します。

データセットには、量子化、ロードサイズ、Ollamaコマンドに関する詳細が含まれる62つのモデルが含まれています。Q4_K_Mモデルはパラメータ10億個あたり約0.6GBのメモリを必要とするという目安を提供しており、システムオーバーヘッドのために利用可能なRAMの約70%にサイズを設定することを提案しています。データには、8GB（~8Bパラメータ）、16GB（~14B）、24GB（~27B）、32GB（~35B）、48GB（~47B）、64GB（~70B）、128GB（~122B）を含むティアにおける使用可能な予算と最大パラメータ数が含まれています。

このデータセットはCC BYライセンスの下で利用可能であり、プログラムによるアクセス用のJSON APIを備え、Apple Siliconおよびコンシューマー向けNVIDIAハードウェアをカバーしています。著者は、エラーの修正や欠落しているモデルや量子化の追加のためにコミュニティからの貢献を呼びかけています。