arxiv arXiv cs.LG · 1時間前 · research

Faraday 27B が論文再現タスクにおいて Claude Opus 4.8 および GPT-5.5 を上回る

翻訳元 English → 日本語

研究者らは、信頼性の高い科学知識の必要性に対応するため、論文再現のためのスケーラブルなタスク空間である Replica を開発しました。彼らは、この環境を活用するために、コーディングエージェントをツールとして使用する 27B パラメータの「AI Scientist」エージェントである Faraday のファインチューニングを行いました。

Replica は、再現品質に対する人間の評価と一致する低ノイズの自動生成ルーブリックベースのジャッジを提供します。
Faraday は、ホールドアウトされた再現タスクにおいて Claude Opus 4.8 および GPT-5.5 のパフォーマンスを上回ります。
定性的分析により、Faraday は他のモデルと比較してより科学的な原則に基づいたアプローチを採用していることが示されました。

これらの結果は、複雑なハーネスを必要とせずに長期の科学イノベーションを実現できる AI エージェントへの一歩となります。

重要度 2/3 差別化要素を備えた新しい評価ハーネス arXiv cs.LG DeepSeek AI agents Research paper

原文を読む

関連記事

arxiv arXiv cs.AI · 2時間前 · 1 回表示

Faraday 27B が論文再現タスクで Claude Opus 4.8 および GPT-5.5 を上回る

研究者らは、論文再現のためのスケーラブルなタスク空間である Replica を開発し、人間の評価と整合する低ノイズ報酬信号を提供するための自動生成されたルーブリックベースのジャッジを導入しました。

arxiv arXiv cs.CL · 40日前

AutoMemはLLMの認知スキルとしてのメモリ学習を自動化する

研究者らは、AutoMemを発表した。これは大規模言語モデルにおけるメモリ管理を静的な構成要素ではなく、訓練可能なスキルとして扱うフレームワークである。このシステムはファイルシステム操作を第一級のメモリアクションへと昇格させ、モデルが知識のエンコーディング、取得、整理の方法を自律的に決定できるようにする。

arxiv arXiv cs.CL · 45日前

パラメータのスケールアップではなくホライゾンの拡張：35Bエージェントでトリリオン・パラメータ級のパフォーマンスを実現

研究者らは、エージェントのホライズンをスケールアップすることで、パラメータ数ではなくパフォーマンスをトリリオン・パラメータモデルに匹敵するものとする35B Mixture-of-Expertsモデル「Agents-A1」を発表した。このアプローチは、長期ホライズンの軌道（trajectories）の延長と、特殊なトレーニングインフラストラクチャを通じて多様なエージェント能力を統合することに重点を置いている。

arxiv Moonshot AI (arXiv) · 255日前 · 2 回表示

DeepSeek-V3.2がSparse Attentionとエージェント型合成を導入し、GPT-5を凌駕

DeepSeekは、高い計算効率と高度な推論能力を組み合わせるオープンな大規模言語モデルであるDeepSeek-V3.2をリリースしました。今回のリリースでは、以下の3つの主要な技術的進歩が強調されています：新しいスパースアテンションメカニズム、スケーラブルな強化学習フレームワーク、およびエージェント型トレーニングデータの合成パイプライン。

arxiv arXiv cs.AI · 3時間前

AutoDesignはメタハーネス最適化を使用して長期エージェント設計を改善

論文では、AutoDesignというフレームワークを紹介しています。これは、ロールアウトフィードバックに基づいてコードエージェントのハーネスを再帰的に改善するよう誘導するためにメタハーネスオプティマイザを採用しています。このアプローチは、人間の設計事前知識と整合させ、再帰的自己改善のために再利用可能な経験を蓄積することを目指しています。