GiulioDERは、コーディングエージェントのメモリ層の有効性を評価するために設計されたオープンかつ事前登録済みのベンチマークであるAMBをリリースした。従来の検索関連性に焦点を当てたベンチマークとは異なり、AMBは取得された記憶がエージェントが実際のコーディングタスクを完了するのを本当に助けるのか、それともより悪い結果をもたらすのかを検証する。

  • このベンチマークは、実行可能なテストが生成された成果物を採点するサンドボックス化されたリポジトリ内でClaude Codeを実行する。
  • 欠落、古さ、置き換え済み、矛盾、隣接、無関係な記憶を用いて敵対的に構築されている。
  • パブリックフィードには195件の事前作成済みセッションのトランスクリプトが含まれている。
  • 別のハードコーパスは4,900文書にスケールし、そのうち196件の実文書と4,704件の合成ディストラクターが含まれ、約143,000チャンクがある。
  • 現在のスイートは主に読み取りパスを測定しており、メモリ層がセッション間でエージェント自身の作業から学習するかどうかはまだ測定していない。

著者は、参加費なしで小規模なメモリベンダーにシステムをテストし、設定と結果を公開することを呼びかけている。