llama.cppプロジェクトはバージョンb11019をリリースし、非アラインメントオフセットに埋め込まれたGGUFファイルが誤ったテンソルデータを返す重大なバグを修正しました。この更新では、ファイルの先頭ではなくオフセット0相対でGGUFデータセクションをアラインメントし、埋め込みモデルの正しい読み込みを保証します。

  • gguf_init_from_file_ptrを修正し、GGUFの先頭からデータセクションをパディングすることで、非アラインメントの埋め込みファイルによるエラーを防ぎます。
  • FILE*ストリーム経由でLoRAアダプターを読み込めるようにするためにllama_adapter_lora_init_from_file_ptrを追加します。
  • 埋め込みデータセクションがアラインメントされていない場合にmmapを警告付きで無効化し、ggmlの以前のassertionに置き換えます。
  • macOS (Apple SiliconおよびIntel)、iOS、Linux (CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL)、Android、Windows、openEuler用のバイナリを含みます。

このリリースにより、他のコンテナ内に埋め込まれたファイルや任意のファイルオフセットにあるGGUFファイルの信頼性の高い動作が保証されます。