llama.cppプロジェクトはバージョンb9890をリリースしました。これには重要なバックエンドのリファクタリングとバグ修正が含まれています。

このアップデートではCUDA用の-sm行が削除され、cuBLAS統合のリファクタリングにより安定性が向上しました。

  • CDNA + BF16のロジックエラーを修正
  • 演算における不正な戻り値を修正
  • src0のストライドと連続メモリ要件に関する問題を解決
  • GGML_CUDA_FORCE_CUBLAS設定を修正
  • BF16形式へのキャストを修正

このリリースでは、CPU、GPU、および各種アクセラレータバックエンド向けに、macOS、Linux、Windows、Android、openEuler用の更新されたバイナリが提供されます。