Apple M5 Mac: 仕様から計算したオープンモデルの収容数
本記事は、ベンチマークの実行ではなくメモリ制約を分析することで、新しいApple M5シリーズMac(Mac mini、Mac Studio)にどのオープンな大規模言語モデルが収まるかを計算している。使用可能なGPUメモリに対するQ4_K_M GGUFファイルサイズ、KVキャッシュの要件、ランタイムオーバーヘッドに基づいて容量を決定する。
本記事は、ベンチマークの実行ではなくメモリ制約を分析することで、新しいApple M5シリーズMac(Mac mini、Mac Studio)にどのオープンな大規模言語モデルが収まるかを計算している。使用可能なGPUメモリに対するQ4_K_M GGUFファイルサイズ、KVキャッシュの要件、ランタイムオーバーヘッドに基づいて容量を決定する。
Appleは、テキストの圧縮画像をより効率的に処理するために設計された90億パラメータのVision Language ModelであるLensVLM-9Bをリリースしました。このモデルはこれらの圧縮入力をスキャンし、学習したツールを使用して関連するページのみを選択的に非圧縮形式に拡張します。
oMLXのクリエイターかつメンテナーであるJun Kimが、MLXコミュニティをサポートするためにHugging Faceに入社しました。この動きは、サイドプロジェクトから完全に維持・資金提供されたイニシアチブへと移行することで、オープンソースプロジェクトに安定性とより迅速な開発を提供することを目指しています。