llama.cpp プロジェクトはバージョン b10199 をリリースし、そのサーバー コンポーネントに新しい機能を導入しました。主な更新により、サーバーが次のトークンを生成するための埋め込みをサポートできるようになり、特にサンプリングされたトークンの埋め込みのサポートが追加されました。
- サーバーは次トークン予測ワークフローを支援するために、サンプリングされたトークンの埋め込み生成をサポートするようになりました。
- ~server_batch() デストラクタに修正が適用されました。
- このリリースでは、KleidiAI を使用した macOS Apple Silicon (arm64) のビルドは無効になっています。
- CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL、および OpenCL バックエンド向けに、Linux、Windows、Android、および macOS 用のプリビルドバイナリが利用可能です。
この更新により、llama.cpp サーバーを利用するユーザーは生成中にトークン埋め込みを直接アクセスできるようになり、出力トークンのベクトル表現が必要なアプリケーションに有用です。