llama.cpp b10817 リリースは、開発者がデバイスメモリの割り当てパターンを理解するのに役立つ新しい SYCL メモリトレーシング機能を紹介しました。この機能は、メモリ使用量の詳細なログ記録を可能にする2つの新しい環境変数によって制御されます。

  • GGML_SYCL_MEMTRACE=1 を設定すると、サイトごとのメモリ使用量が表示され、割り当てが 64MiB 以上増加した場合のみ更新されます。
  • GGML_SYCL_MEMTRACE=2 を設定すると、個々の割り当ておよび解放イベントがすべてログ記録されます。
  • デフォルトのレポート閾値は GGML_SYCL_MEMTRACE_STEP 変数を使用してカスタマイズできます。

このツールはメモリ関連の問題のデバッグを支援することを目的としており、--fit アルゴリズムの改善にすでに有用であることが証明されています。