ある開発者が、RustとCUDAで構築されたカスタムアテンション・トランスフォーマーエンジンの詳細を公開しました。このエンジンは決定性とエネルギー効率に焦点を当てています。システムは同じスタック上で推論とトレーニングの両方をサポートし、H100、M2 Pro、コンシューマーGPU、WebGPUを含む複数のハードウェアバックエンドで動作します。

  • 連続バッチ処理を使用する28層の7Bクラススタックを搭載したH100 NVLにおいて、スループットは約403トークン/秒に達します。
  • エネルギー消費量は、ボード電力の中央値が約254 Wで0.63 J/tokenと測定されました。
  • このエンジンはビット単位で正確であり、AUDITによって検証され、GAE、ATE、WNSM、および反転トレーニング技術を利用しています。

完全なベンチマークと方法は開発者のサイトで公開されており、今月特許付与後にデュアルライセンスの下でオープンソースリリースが予定されています。