Hugging Faceは、Hugging Face Hubから最適化されたWebGPUカーネルを読み込んで実行するためのライブラリである@huggingface/kernelsと、207個のカーネルの初期コレクションをリリースしました。また、ユーザーのデバイスからパフォーマンスと正確性の証拠を集約するブラウザ内GPUベンチマークスイート「Fleet」も導入されました。

  • カーネルコレクションには行列乗算やアテンションプリミティブなどの演算が含まれており、それぞれマニフェスト、正確性テスト、WGSLシェーダーテンプレート付きのバージョン管理されたリポジトリとして公開されています。
  • @huggingface/kernelsは、明示的な契約バージョンを使用してHubからカーネルをダウンロードして直接実行するJavaScriptローダーを提供します。
  • Apple M4 GPUでのベンチマークでは、新しいカーネルはORT WebGPUと比較して幾何平均で2.57倍高速であり、双一次Einsumのような特定の場合では10,000倍以上高速でした。
  • Fleetを使用するとユーザーは自前のハードウェアでテストを実行でき、失敗の特定や多様な実環境でのデバイス間でカーネルバリアントを改善するためにプライベートな証拠を提供できます。

この基盤は、透過的でバージョン管理された演算契約と広範な実環境のパフォーマンスデータを提供することで、WebAIエコシステム全体で高速なローカル推論の利用を容易にすることを目指しています。