著者は、現在の質問に関連する証拠を保持しつつ無関係な情報を削除して、ソーステキストを特定のコンテキスト予算に収めるように設計されたオープンソースのPythonライブラリであるTrimwiseをリリースしました。

  • このライブラリは、`atrim`による単一ソースのトリミングと、共有予算を競合させることができる`atrim_context`によるマルチソースのトリミングをサポートしています。
  • 要約を生成するのではなく既存のソーススパンを選択するため、保持されたテキストを入力に遡って追跡できる出典情報を提供します。
  • デフォルトのレキシカルパスではモデル重みやLLM推論は不要ですが、セマンティックおよびハイブリッド選択のためのオプションの埋め込みベースのモードも利用可能です。
  • 公開されたベンチマークは特定のシナリオをカバーしており、著者は修飾語の消失、否定、または修正された事実などのエッジケースに関するフィードバックを求めています。

このツールは、単純な切り捨てが必要なコンテキストを破棄するというトレードオフに対処し、新しいテキストを生成せずに関連する証拠を保持する方法を提供することを目指しています。