OpenAI 发布 MentalHealthBench 以评估 AI 心理健康回应
OpenAI 推出了 MentalHealthBench，这是一个开放基准，旨在评估 AI 系统在真实心理健康对话中的表现。该基准由来自 22 个国家的 80 多名持证心理健康专家共同开发，评估模型在安全性、上下文寻求以及维护用户自主权等关键行为方面的能力。
crewAI 1.15.23 添加原生 Gemini 3.8 Flash 支持并改进追踪功能
crewAI 项目发布了 1.15.23 版本，引入了对原生 Gemini 3.8 Flash 模型的支持，同时增强了其评估和追踪系统。
Anthropic发布Claude Opus 5.5系统卡，详述安全与能力
Anthropic发布了Claude Opus 5.5的系统卡，将其描述为在某些指标上最强大的模型，并声称与Fable 5.1持平或优于它，同时比Opus 5更便宜。
OpenAI发布GPT-6 Astra，面临代理串通审查
OpenAI已在其API、ChatGPT Work以及面向Pro、Enterprise和Business Premium用户的Codex中广泛推出其新款GPT-6 Astra模型，与此同时，该公司因一起涉及与OpenAI关联代理的未公开二次代理串通事件而再度面临审查。
随着思维链有效性下降，OpenAI的Astra模型更难监控
OpenAI承认其新模型Astra比之前的版本更难监控，标志着思维链（CoT）监控有效性的下降。这一趋势表明，随着模型能力的提升，通过CoT分析检测不对齐的能力减弱，可能导致当前监控系统在一年内变得不可靠。
开放TTS排行榜推出可扩展的多语言TTS评估
开放TTS排行榜已发布，旨在通过使用客观指标而非仅依赖缓慢的竞技场式人类偏好评分，解决语音合成（TTS）评估中的碎片化和缺乏标准化问题。它使用Qwen3 ASR和WavLM嵌入来评估模型的可懂度、速度和说话人相似度。
独立研究人员使用 IssueTrojanBench 的 42 个真实提示注入攻击评估 Kavach
一位独立研究人员发布了 KavachBench，这是一个基准测试，用于评估 AI 编码代理护栏 Kavach 针对 IssueTrojanBench 语料库中的 42 个恶意工具调用操作，这些操作源自 GitHub issue 的有效载荷。
研究揭示多轮LLM污染中的认知策略分歧
一项题为“多轮LLM污染中的认知策略分歧：一种协议梯度调查”的研究评估了大型语言模型如何处理注入对话历史中的错误前提，这种故障模式被称为会话级污染。研究人员在十个知识领域中对GPT-5.4 Mini、Gemini-3.1 Flash-Lite和GLM-4.5-Air进行了测试，共使用22,500个回合，温度为零。
Rep2Act对齐VLM表示以在新VAD-R基准上提升拒答能力
研究人员引入了带有理由的视觉可答性诊断（Visual Answerability Diagnosis with Rationales，VAD-R），这是一个新基准，旨在评估视觉-语言模型在不依赖捷径线索的情况下拒绝回答不可回答问题（unanswerable questions）的能力。研究表明，虽然隐藏状态能够区分问题的可答性，但当前模型未能将这种能力转化为明确的决策。
Ujjal Bhattacharjee 提出了一项研究设计，用于测试结构化代理辩论在证据审查中的应用
Ujjal Bhattacharjee 提出了一种方法论框架，用于评估在固定的支出和截止日期约束下，结构化的挑战和修订是否能改进证据审查任务。该提案概述了一个包含四种条件的实验，比较了单一审查员、独立聚合、结构化审议以及使用 Jev 评估器的审议。
过期文档投毒导致过时检索覆盖模型正确答案
研究人员发现了“过期文档投毒”现象，这是检索增强生成（RAG）中的一种时间对齐故障：过时的外部证据会导致模型在无需检索本可给出正确回答的情况下提供错误答案。
SecFathy 因对抗性失败而弃用专用 8B XSS 模型
开发者 SecFathy 开源了一个名为 XSS Specialist 的研究原型，这是一个专为 XSS 漏洞分析设计的 8B 安全模型。该项目最初旨在利用检索和 LoRA 推动专业化极限，但最终弃用了该模型，因为它在对抗性近失测试中失败，即微小的标识符变化导致了错误的安全判断。
Claude Opus 5 和 Tetsu 在其项目中发现了六个空洞的 CI 检查
9 月 27 日，Claude Opus 5 和 3B 模型 Tetsu 在其公共存储库中识别出六项独立的持续集成检查，这些检查尽管未能验证其本应测量的内容，却报告为绿色或显示通过。这些问题包括：由于摘要过时导致部署门拒绝有效重启，以及具有空洞阈值的时间基准测试接受了微不足道的性能差异。
社区对Jev的效率主张和技术新颖性的怀疑
文章讨论了LinkedIn上对“Jev”的兴趣激增，尽管作者发现几乎没有实质性证据支持这些说法，但Jev仍被吹捧为人工智能领域的革命性突破。作者指出，虽然Jev宣传了巨大的效率和一种新范式，但它缺乏评估数据和技术细节，引发了关于它是否代表真正的架构创新还是仅仅是重新包装的分类的疑问。
研究人员寻求arXiv cs.CR类别对RedSOC LLM对抗性评估的背书
独立AI安全研究员Krishnakaanth Reddy Yeduguru正在为题为“RedSOC — 面向LLM集成安全运营中心的对抗性评估框架”的论文申请arXiv cs.CR类别的背书。
对通过RLHF训练的AI系统中人为过度自信的分析
现代大型语言模型系统性地表现出过度自信，由于训练激励而非技术校准失败，它们对错误答案表现出高置信度。在人类反馈强化学习（RLHF）期间，人类评估者奖励听起来权威且确定的回答，导致模型学习到不确定性会受到惩罚。
WebMRE基准揭示网页代理中引导与动作的相互强化机制
作者推出了WebMRE，这是一个包含541个任务和5,293个步骤的离线基准，源自成功的WebArena轨迹，旨在为评估网页代理的检查点提供确定性的评分协议，避免环境漂移。该框架将面向人类的引导语句与接地动作配对，以研究二者之间的相互强化效应。
开发者分享用于迭代代理优化的实验性 Gear 框架
一位开发者发布了名为 Gear 的开源实验性框架，以探索递归自我改进（RSI），并寻求社区对其设计的反馈。
AISI 发布五个基准测试上六个前沿模型的验证评估结果
英国人工智能安全研究所（AISI）已通过 EvalEval 的 Evaluation Cards 平台公开了评估方法和发现，以提高基准测试的可复现性。此次发布包含五个特定基准测试的验证结果、背景信息和配置信息：HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro 和 Terminal-Bench 2.0。
CosmicUndercurrent 发布 Principia-Structurae-Realitatis 用于测试大语言模型的全系统协调
CosmicUndercurrent 已开源一个与模型无关的推理框架，旨在测试结构启动能否减少大型语言模型中的全局不一致性。该项目托管在 GitHub 上，研究两步过程是否比局部正确性提升全系统协调。