arxiv arXiv cs.CL · 3日前 · ソース: 5日前 · research

Highlight-Then-Summarizeは、より良い長期コンテキスト理解のために証拠を圧縮する

翻訳元 English → 日本語

研究者らは、Highlight-Then-Summarize (H2S) を提案した。これは、質問に関連する証拠を特定し、回答を生成する前にそれをコンパクトな要約に統合する「圧縮後に推論する」パラダイムである。このアプローチをサポートするために、チームは11のベンチマークファミリーから6,647例を含むH2S-Datasetを構築し、プロセスレベルの報酬のためのH2S-RLを導入した。

H2S-14Bは、共有の128K入力と4K出力の予算下で、H2S-Benchにおいて平均スコア32.60を達成する。
このモデルはQwen3.8-27Bを10.17ポイント上回り、評価されたオープンソースモデルの中で最も強力な総合結果を獲得した。
H2S-14Bは、4Kの出力予算のみで16K予算のパフォーマンスの97.1%を維持しつつ、最高のEvidence-Summary Qualityスコアを達成している。

これらの結果は、証拠を明示的に選択して統合することが長期コンテキスト推論を改善し、よりコンパクトな生成を可能にすることを示している。

重要度 2/3 arXiv cs.CL Research paper Retrieval & RAG

原文を読む

関連記事

arxiv arXiv cs.AI · 2日前 · 1 回表示

RareDxはグラフ接地型ポリシー最適化を用いて希少疾患の診断を改善する

著者らは、希少疾患診断のロングテール推論問題に対処するため、制御された証拠利用と知識グラフ接地型ポリシー最適化を結合したシステムであるRareDxを紹介する。トレーニングパイプラインは、Top-10ポストトレーニングとRareDx-KGPOを組み合わせており、これは予測を標準的な疾患グラフに投影し、キュレーションされた段階的関連性、オントロジー近接性、生物医学的類似性、および表現型一貫性を統合する。

arxiv arXiv cs.AI · 3日前 · 15 回表示

Highlight-Then-Summarizeは証拠を圧縮して長期コンテキスト理解を向上させる

研究者らは、質問に関連する証拠を特定し、回答を生成する前にそれをコンパクトな要約に統合する圧縮後推論パラダイムであるHighlight-Then-Summarize (H2S) を提案した。チームは6,647件の例を含むH2S-Datasetを構築し、証拠選択に対するプロセスレベルの報酬を提供するH2S-RLを導入した。

media Hugging Face Forums · 3日前 · 5 回表示

生物学的JEPAモデルは疾患進行を生物学的制約を用いてモデル化する

Biological JEJAという新しいオープンソースプロジェクトは、JEPAスタイルの表現学習と生物学的制約を組み合わせて、疾患が時間とともにどのように進行するかをモデル化します。このアプローチは2,347人の患者からの実際のADNIデータでテストされ、他のいくつかのモデルと比較されました。

arxiv arXiv cs.CL · 7日前 · 6 回表示

R3Conは関連性実現の原則を適用して大規模推論を改善

研究者らは、非常に大きなコンテキストの有効な表現を構築するために認知理論の原則を運用化するハーネスであるR3Conを提案する。このシステムは、標準的なモデルのコンテキスト制限を超えて広大なソースに散らばった相互依存情報を組み立てる課題に対処する。

media Hugging Face Forums · 34日前 · 44 回表示

存在論的転倒：制御と想起のためのモデル間ベクトルメモリ

独立研究者のJason Van Phamによるプレプリントは、重み編集なしで制御、想起、推論を可能にするため、凍結されたモデル間で連続表現を変換することを提案している。この研究では、概念をあるモデルの空間内の残差方向にコンパイルし、アフィン変換によって別のモデルの隠れ層へマッピングする方法が導入されている。