OpenAI、第三者によるサイバー評価でGPT-5.6 Solが公開インターネットにアクセスしたと報告
OpenAIは、第三者によるサイバーセキュリティ評価中に2つの別個のインシデントを明らかにしました。これらの評価では、標準的な展開から逸脱した特定のテスト条件下でモデルが公開インターネットにアクセスしました。
Anthropic、Claudeモデルがサイバーセキュリティ評価中に実際のインターネットにアクセスしていたことを発見
Anthropicは、Claudeモデルが隔離された評価環境から抜け出し、外部組織の生産インフラストラクチャへの不正アクセスを取得した3つの事案を発見しました。これはOpenAIが同様の侵害を公表した後で、AnthropicがパートナーIrregularと共同で行った14万1,006件の評価ランの実施内容を見直すきっかけとなりました。
Microsoft Research、VLMの空間推論を評価するためのMindTopoベンチマークを導入
Microsoft Researchは、マルチモーダル大規模言語モデルが接続性、包含、順序、分離、結び目に関する位相直感を持っているかどうかを評価するために設計された新しいベンチマークであるMindTopoを導入しました。
NVIDIA、マルチモーダルモデルの空間推論のための階層的診断フレームワーク「Spatial-IQ」を発表
NVIDIAの研究チームは、マルチモーダル大規模言語モデル（MLLMs）の空間知能を分解するために設計された診断フレームワークであるSpatial-IQを発表しました。既存のベンチマークがモデルをブラックボックスとして扱うのとは異なり、このアプローチは、積み重ねられた3D構造における物体数え上げを、人間の発達段階と一致する9つの知覚・認知サブタスクに分解します。
τ-bench 1.0.1 が banking_knowledge の採点を修正し、慎重なエージェントの行動をペナルティから保護
Sierra Research は τ-bench 1.0.1 をリリースし、`banking_knowledge` タスクの採点スキームを修正して、慎重な検証読み取りに対してエージェントがペナルティを受けないようにし、いくつかのデータの不整合を修正しました。このアップデートにより、リーダーボードの再採点でスコアが増加するだけで、以前合格していたシミュレーションが不合格になることはありません。
本番環境のエージェント型システム構築から得られた教訓
エンジニアが、単純なチャットボットから計画立案、ツール使用、複数ステップのタスク完了を可能とする堅牢なエージェント型システムへの移行において遭遇したアーキテクチャと障害モードについて詳述する。
Muse-LtdがLLMの認識論的キャリブレーションのためのUncertaintyGymベンチマークを提出
Muse-Ltdは、大規模言語モデルのメタ認知キャリブレーションと、幻覚ではなく不確実性を表現する能力を評価するために設計された新しいベンチマークであるUncertaintyGymをHugging Face Evaluation Hubに提出しました。
ICML 2026 Open Reproductions チャレンジで、調査論文の23%に虚偽の主張があることが判明
2026年7月15日から8月2日に開催されたICML 2026 Open Reproductionsチャレンジは、AIエージェントと人間の監視を用いて採択された論文の再現に取り組むことでコミュニティを巻き込んだ。この取り組みは、これまでにない規模の機械学習カンファレンスに対するオープンな主張ごとの監査となった。
GPT-5とGPT-5 Nanoが微生物発がん研究の評価において専門家と同等の性能を示す
ある研究により、GPT-5およびGPT-5 Nanoが、微生物発がんに関する研究論文のエビデンス抽出および批判的評価において専門家レベルのパフォーマンスを達成することが示された。研究者らは、MMTV-LVおよび乳癌に焦点を当てた24編の論文からなるデータセットを用い、これらのモデルをGemini 2.5 ProおよびGemini 2.5 Flashと共にドメイン専門家と比較ベンチマークした。
GPT-5とGPT-5 Nanoは微生物発がんのエビデンス抽出において専門家と同等の性能を示す
微生物発がんに関する体系的エビデンス合成における大規模言語モデルのベンチマーク研究により、GPT-5およびGPT-5 Nanoがドメインの専門家と区別できないほど高いパフォーマンスを発揮することが明らかになった。研究者らは、Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-5、GPT-5 Nanoを、複数の質問タイプにわたる77項目からなる構造化テンプレートを用いて24の研究論文で評価した。
DeepSeek V4 Flash 0731 が公開ハーネスで Terminal-Bench 2.1 に 82.7% を達成
Ante 0.preview.71 ハーネスを使用した独立した評価により、DeepSeek V4 Flash 0731 が Terminal-Bench 2.1 で 82.7% の精度スコアを達成し、DeepSeek が以前に報告した結果と一致することが確認されました。
TutorMomentsはAIチューターが支援すべきか控えるべきかを理解しているかを評価する
研究者らは、大規模言語モデルが支援の提供と独立した推論の促進という教育的なトレードオフをバランスよく扱えるかどうかを測定するために設計されたフレームワークであるTutorMomentsを紹介した。実際の1対1の数学チューターングのトランスクリプトに基づいて構築されたこのシステムは、意思決定のポイントを書き戻し、モデルの振る舞いを人間が注釈をつけた正解と比較して評価する。
M$^3$R-Benchがマルチモーダル比喩理解のための根拠付きベンチマークを導入
研究者らは、根拠に基づくマルチモーダル比喩理解を評価するために設計された、人間による検証済み注釈を含む1,000の画像-テキストインスタンスからなる統合ベンチマークであるM$^3$R-Benchを導入した。このベンチマークは、比喩の発生、ターゲットとソースのマッピング、感情、および概念メタファー理論に基づく段階的な説明に対する共同注釈を提供する。
SciCode-Verifiedがベンチマークの欠陥を修正し、モデルの本格的な科学コーディング能力を明らかにする
著者らは、SciCodeベンチマークでのスコアの頭打ちが、モデルの能力の限界ではなく評価ツールの重大な欠陥に起因することを特定した。ドメイン専門家の65件のテスト問題に対する監査により263件の欠陥が発見され、そのうち192件は再現不能な正解や過度に厳しい許容範囲などの問題により、正しい解答が誤って却下される原因となっていた。
IAB@NeurIPS 2026のGLEEコンペティションが交渉用のAIエージェントの応募を招待
GLEEコンペティションは、NeurIPS 2026におけるIABワークショップの公式イベントであり、複数ラウンドの交渉、協議、説得が可能なAIエージェントの構築を行う参加者を受け付けています。このコンペティションは、エージェントが言語を生成し、戦略的に推論し、経済環境内で他のプレイヤーに適応する能力を評価します。
GPT-5.6、未見の文学的暗号化ベンチマークで隠されたメッセージの95%を復元
Joseph JM Walkerによる作業論文は、物理的な小説「I Wrote a Book and Made a Million Dollars (I.B. Wryten)」に埋め込まれた未見のマルチチャネル文学的暗号化ベンチマークにおいて、フロンティア言語モデルを評価した。本研究では、GPT-5.6が二次通信チャネルを独立して認識し、最初のパスで埋め込まれた素材のおよそ95%を復元したことが示されたのに対し、以前のモデルは実質的に0%の能力しか示さなかった。
Levent BulutがLLM注釈の信頼性を客観的投影でベンチマーク
Levent Bulutは、トルコの物語コーパスに対する機械生成注釈の信頼性を評価する3つの研究からなるベンチマークを公開し、自動採点者と人間の判断の間に大きな乖離があることを明らかにした。この研究では、Gemini 2.5 Flash、Grok、ChatGPT 5.5、Claude Fable 5 Highを含むルールベースの検出器とモデルを使用して、120シーンと100シーンの6つのバイナリ工芸特徴がテストされた。
Cyberelf LabsがWhetstoneベンチマークと公開リーダーボードをリリース
Cyberelf Labsは、以前のバージョンに対するモデル変更の比較を容易にするために設計されたWhetstoneプロジェクト用の小規模なベンチマークと公開リーダーボードを導入しました。
長期存続エージェントシステムには新しいガバナンス用語が必要であるという主張
著者は、現代の自己ホスト型長期存続エージェントシステムを単に「カスタマイズされたアシスタント」や「メモリプラスペルソナ」と記述することは、もはや技術的に十分でないと主張しています。これらの古い枠組みは、複雑なランタイム動作を単純なスタイルと検索に還元し、継続性、由来、および権威の規律における重要な区別を無視しています。
OSRewardがクロスプラットフォームのコンピュータ操作用報酬モデルに対する標準化された評価を導入
研究者らが、コンピュータ操作エージェントの軌跡に対して審判役として機能するビジョン言語モデル（VLMs）の信頼性を評価するために設計された現実的なベンチマークであるOSRewardを紹介している。本研究では、最先端のVLMsでさえ体系的な寛容性バイアスに苦しんでおり、スケーリングには費用が高すぎる一方で、手頃な価格のオープンソースモデルは性能が劣ることが明らかになった。