media Hugging Face Forums · 2時間前 · open_models

SRRMベンチマークにより、Qwen2.5-1.5Bが長文脈メモリにおいて3Bを上回ることを発見

翻訳元 English → 日本語

ある研究者が、Small Language Modelsの長文脈メモリを評価するために設計された軽量ベンチマークであるSimple Retrieval-Reconstruction Memory (SRRM)を紹介する論文に対するarXiv cs.CLの推薦を求めています。

既存の検索指向のベンチマークとは異なり、SRRMは対象検索、グローバル情報再構築、およびMemory Preservation Ratio (MPR)と呼ばれる新しい指標を共同で評価します。著者たちは、10〜100の事実文のコンテキスト負荷の下でQwen2.5モデルファミリー（0.5B、1.5B、3B）をテストしました。

結果は、Qwen2.5-1.5Bモデルが検索精度、再構築パフォーマンス、およびMPRにおいて一貫してより大きな3Bモデルを上回ったことを示しており、パラメータ数だけでは必ずしも長文脈メモリの保持が向上するわけではないことを示唆しています。

重要度 1/3 信頼度 1/3 Hugging Face Forums Evaluation & benchmarks Research paper

原文を読む

関連記事

arxiv arXiv cs.CL · 9日前

特性を用いたLLMファインチューニングはクロスルーブリックエッセイ採点の改善につながる

研究者たちは、教育者がルーブリックを改訂または新規導入する際に生じる自動化エッセイ採点の課題、すなわち「クロスルーブリック一般化」というシナリオに対処しています。彼らは、トレーニング中にターゲットエッセイの教師ありデータと併用して、「特性（traits）」と呼ばれるルーブリック非依存の中間表現を活用する大規模言語モデルのためのファインチューニングフレームワークを提案します。

arxiv arXiv cs.CL · 9日前

生グルバニ追跡：シク教徒のキルタン字幕作成のためのベンチマークとリファレンスシステム

著者らは、スリ・グル・グランサ・サヒブ・ジの節の継続的な歌唱朗読を含む、シク教徒のキルタンのライブ字幕付けのためのベンチマークとリファレンスシステムを発表します。オープンボキャブラリトランスクリプションとは異なり、このタスクでは宗教的に不適切な誤記を避けるために、正典聖書からの正確な単語ごとの一致が必要です。

arxiv arXiv cs.CL · 9日前

合成LLM-as-Judgeコーパスにおけるテストオラクル問題：消失、歪曲、および検証プロトコル

本記事は、LLM-as-judgeバイアス研究用の合成コーパス構築における構造的な失敗を浮き彫りにしています。共有されるデコーディング予算パラメータが、生成された幻覚的な回答を切り詰める原因となることがあります。この切り詰めにより、判事（judge）の選択精度に32ポイントの言語横断的な崩壊が生じましたが、これは集計された統計チェックではなく、生の生成結果の手動検査を通じてのみ検出可能でした。

arxiv arXiv cs.CL · 9日前

CAVE-ABSAフレームワークが検証されたアスペクトレベルの反実仮想を生成

著者らは、Aspect-Based Sentiment Analysis (ABSA) のためのアスペクトレベルの反実仮想を生成・検証するために設計された Constraint-Aware Validated Editing フレームワークである CAVE-ABSA を提案する。このアプローチは、特定のターゲットアスペクトの感情のみを反転させつつ、非ターゲットアスペクトの意味と感情を保持するという課題に対処する。

arxiv arXiv cs.LG · 9日前

多領域低リソースOCRのためのマルチエキスパートルーティング：満州語事例研究

本記事は、限られたラベルデータにもかかわらず、楷書、行書、半草書体などの視覚的に異なる書体を処理する、歴史的な満州語OCR用のマルチエキスパートシステムを紹介します。このアプローチは、反復ファインチューニングプロセスからのチェックポイントをドメイン専門家として再利用し、ページレベルの軽量画像分類器を使用して、視覚的な書体に基づいてページをディスパッチします。