arxiv arXiv cs.AI · 1時間前 · research

Faraday 27B が論文再現タスクで Claude Opus 4.8 および GPT-5.5 を上回る

翻訳元 English → 日本語

研究者らは、論文再現のためのスケーラブルなタスク空間である Replica を開発し、人間の評価と整合する低ノイズ報酬信号を提供するための自動生成されたルーブリックベースのジャッジを導入しました。

チームは、コーディングエージェントをツールとして利用する 27B パラメータの「AI Scientist」エージェントである Faraday のファインチューニングを行いました。
Faraday は、ホールドアウト再現タスクにおいて Claude Opus 4.8 および GPT-5.5 よりも優れたパフォーマンスを示しました。
定性的分析により、Faraday はロールアウト中により科学的なアプローチを採用していることが示されました。

著者らは、これらの結果が複雑なハーネスを必要とせずに長期の科学イノベーションを実現できる AI エージェントへの足がかりを提供すると考えています。

重要度 2/3 差別化要素を備えた新しい評価ハーネス arXiv cs.AI DeepSeek AI agents Research paper

原文を読む

関連記事

arxiv arXiv cs.CL · 40日前

AutoMemはLLMの認知スキルとしてのメモリ学習を自動化する

研究者らは、AutoMemを発表した。これは大規模言語モデルにおけるメモリ管理を静的な構成要素ではなく、訓練可能なスキルとして扱うフレームワークである。このシステムはファイルシステム操作を第一級のメモリアクションへと昇格させ、モデルが知識のエンコーディング、取得、整理の方法を自律的に決定できるようにする。

arxiv arXiv cs.CL · 45日前

パラメータのスケールアップではなくホライゾンの拡張：35Bエージェントでトリリオン・パラメータ級のパフォーマンスを実現

研究者らは、エージェントのホライズンをスケールアップすることで、パラメータ数ではなくパフォーマンスをトリリオン・パラメータモデルに匹敵するものとする35B Mixture-of-Expertsモデル「Agents-A1」を発表した。このアプローチは、長期ホライズンの軌道（trajectories）の延長と、特殊なトレーニングインフラストラクチャを通じて多様なエージェント能力を統合することに重点を置いている。

arxiv Moonshot AI (arXiv) · 255日前 · 2 回表示

DeepSeek-V3.2がSparse Attentionとエージェント型合成を導入し、GPT-5を凌駕

DeepSeekは、高い計算効率と高度な推論能力を組み合わせるオープンな大規模言語モデルであるDeepSeek-V3.2をリリースしました。今回のリリースでは、以下の3つの主要な技術的進歩が強調されています：新しいスパースアテンションメカニズム、スケーラブルな強化学習フレームワーク、およびエージェント型トレーニングデータの合成パイプライン。

arxiv arXiv cs.AI · 1時間前ライブ

AutoDesignはメタハーネス最適化を使用して長期エージェント設計を改善

論文では、AutoDesignというフレームワークを紹介しています。これは、ロールアウトフィードバックに基づいてコードエージェントのハーネスを再帰的に改善するよう誘導するためにメタハーネスオプティマイザを採用しています。このアプローチは、人間の設計事前知識と整合させ、再帰的自己改善のために再利用可能な経験を蓄積することを目指しています。

arxiv arXiv cs.CL · 2時間前

AutoDesignはメタハーネス最適化を用いて長期の自律型設計を改善する

本論文では、AutoDesignというフレームワークを紹介しています。これは、ロールアウトフィードバックに基づいてハーネスを再帰的に改善するコードエージェントを誘導するためにメタハーネスオプティマイザを採用しています。著者たちは、PosterBenchと呼ばれる新しいベンチマークを用いて、学術論文からポスターへの生成タスクにおいてこのアプローチを評価しました。