llama.cppプロジェクトはビルドb10293をリリースしました。これにはgfx1151アーキテクチャ向けのAMD ROCm継続的インテグレーションの導入と、統合RDNA3.5 GPUの正確性の問題の解決が含まれます。

  • デバッグアサートで統合GPUホスト出力バッファを許可することで、gfx1151でのtest-recurrent-state-rollbackを修正しました。
  • mmapでロードされた重みとのGPU一貫性の問題を回避するため統一メモリを有効にし、RDNA3.5での推論の正確性を復元しました。
  • HIPパスでの非同期実行エラーに対処するため、HIP_LAUNCH_BLOCKING=1を使用してカーネル起動を直列化しました。
  • サポートされていない操作と不正な出力のため、HIPバックエンドでのjambaアーキテクチャテストおよびtop-kサブテストをスキップしました。

このアップデートにより、ROCm経由でAMD RDNA3.5ハードウェア上でllama.cppモデルの信頼性の高いテストと推論が可能になります。