llama.cpp プロジェクトは、CUDA バックエンドの重要なバグに対処するバージョン b10241 をリリースしました。このアップデートは、ブロックリダクション中に共有メモリ(SMEM)を再利用する際に発生していたデータ競合を解決します。

  • データ競合を防ぐため、block_reduce での SMEM 読み取り後の再同期の欠如を修正。
  • 単一行の softmax および正規化操作に対してダブルバッファリングを実装。
  • マルチワープシナリオ用に説明コメントとメモリバリアを追加。
  • CPU、CUDA、Vulkan、ROCm、その他のバックエンド向けに、macOS、Linux、Windows、Android、iOS 用のバイナリを提供。