llama.cpp バージョン b9690 は、既存の rope カーネルを再利用し、関数定数を使用してフォワード/バックワード回転を切り替えることで実装された rope_back オペレーターを導入しました。今回のリリースには、macOS、Linux、Android、Windows、openEuler 向けのプリビルドバイナリが含まれており、Vulkan、CUDA、ROCm、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。
llama.cpp が rope_back オペレーターとクロスプラットフォームバイナリを含む b9690 をリリース
翻訳元 English → 日本語