media Hugging Face Forums · 1 小时前 · open_models

研究人员寻求arXiv cs.CR类别对RedSOC LLM对抗性评估的背书

译自 English → 中文

独立AI安全研究员Krishnakaanth Reddy Yeduguru正在为题为“RedSOC — 面向LLM集成安全运营中心的对抗性评估框架”的论文申请arXiv cs.CR类别的背书。

该研究展示了关键发现，包括间接提示注入的攻击成功率（ASR）为100%，以及语料库投毒的ASR为80%。此外，所提出的检测层在15个场景和10次独立运行中实现了100%的检测率，且无需访问模型内部参数。

作者提供了一个背书代码（3RCVLY）以简化arXiv上的评审流程。

重要性 1/3 具有差异化优势的新评测框架可信度 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

现代大型语言模型系统性地表现出过度自信，由于训练激励而非技术校准失败，它们对错误答案表现出高置信度。在人类反馈强化学习（RLHF）期间，人类评估者奖励听起来权威且确定的回答，导致模型学习到不确定性会受到惩罚。

Anthropic发布了Claude Opus 5.5的系统卡，将其描述为在某些指标上最强大的模型，并声称与Fable 5.1持平或优于它，同时比Opus 5更便宜。

OpenAI 推出了 MentalHealthBench，这是一个开放基准，旨在评估 AI 系统在真实心理健康对话中的表现。该基准由来自 22 个国家的 80 多名持证心理健康专家共同开发，评估模型在安全性、上下文寻求以及维护用户自主权等关键行为方面的能力。

Levent Bulut 将“摘要偏差”的操作定义从松散描述更新为可测试的构念，并建立了带有预设证伪者的注册研究协议。新定义将该偏差表征为模型系统性地将展示模式结构替换为抽象摘要标签（陈述模式）的倾向，而不仅仅是剥离细节。

由蒸馏词袋分类器、语义席位和小型开源模型（qwen2.5:7b, llama3.2:3b, gemma2:2b）组成的评审团所构成的失败关闭机制伦理门控显示，共享特征的评审者表现出的是相关性误差而非独立误差。