MLXライブラリがバージョン0.32.1をリリースし、Metalフルアテンションの実装内に次元72のヘッドのサポートを導入しました。
- このアップデートにより、プルリクエスト#4330を通じてMetalフルアテンションで次元72のヘッドの使用が可能になりました。
github
MLX
·
2時間前
·
inference
MLX v0.32.1 が Metal フルアテンションでヘッド次元72のサポートを追加
翻訳元 English → 日本語
関連記事
media
r/LocalLLaMA
·
14日前
·
24 回表示
AppleのAFM3 20Bは指示追従プルーニングを使用して約20%のレイヤーをアクティブ化
Appleは第3世代ファウンデーションモデル（AFM3）用の新しいアーキテクチャを導入し、「指示追従プルーニング」を活用してアクティブなパラメータ数を大幅に削減しました。このモデルは、トークンごとではなくプロンプトごとにルーティング判断を行うことで、MLPレイヤーの約20%をアクティブ化するように設計されています。
media
r/LocalLLaMA
·
34日前
·
10 回表示
Apple、AIモデルをiPhoneで実行可能に縮小するスタートアップのPrismMLと協議中
Appleは現在、iPhoneでのデプロイ向けに人工知能モデルを圧縮する技術について、スタートアップ企業のPrismMLと協議を行っている。
github
MLX
·
41日前
·
11 回表示
MLX v0.32.0がMetal上のグループ化ストライドケースにおけるconv2勾配のバグを修正
MLXライブラリはバージョン0.32.0をリリースし、Metalバックエンドの特定のバグに対処しました。
arxiv
arXiv cs.CL
·
44日前
·
1 回表示
BaseRTがネイティブMetalによりApple Siliconで最高クラスのLLM推論を実現
研究者らは、Apple Silicon上の大規模言語モデル向けに、これまで報告された中で最高の推論スループットを達成するネイティブMetal推論ランタイム「BaseRT」を発表しました。チップ固有のカーネル融合と統一メモリ対応の最適化を活用することで、llama.cppやMLXといった既存のフレームワークで見られるオーバーヘッドを克服しています。
lab
Hugging Face Blog
·
8時間前
制約対応GPUアロケータがFIFOに比べ利用効率と優先度加重出力を向上
制約対応GPUアロケータは、7つのシナリオにおいてFIFOスケジューラと比較ベンチマークされ、同一ハードウェア上でGPU利用率が最大33パーセントポイント上昇し、優先度加重出力が最大105%増加した。このシステムは、リアルタイム推論需要を静的な予約ではなく変動する曲線として扱い、連続するGPUブロックや非プリエンプションといった厳格な制約を尊重しつつ、谷間の時間帯にバッチ処理のようなジョブで容量を埋めることを可能にする。