arxiv arXiv cs.CL · 1 小时前 · research

针对特定语料的VITA RAG在HealthBench上匹配或超越前沿LLM

译自 English → 中文

VITA是一个专为低收入和中等收入环境设计的检索增强生成系统，在HealthBench的英文子集上排名第一，超越了GPT-5.4、o4-mini、Gemini 3.1 Pro和Claude Sonnet 4.6。

VITA在4,023道问题上获得了可能评分点的51.9%，领先于GPT-5.4（46.1%）和Claude Sonnet 4.6（37.3%）。
在使用中立裁判针对GPT-5.5等较新模型重新评估时，VITA在每道题的平均得分上与GPT-5.5持平，并在加权得分上领先。
该系统从精心策划的疾病特定指南和印度特定的抗菌素耐药性数据中进行检索。

结果表明，专为临床设计的RAG系统仍然具有与前沿LLM竞争的实力，证明了语料库的针对性能够改善 grounding，尽管其表达流畅度较低。

重要性 2/3 超越顶级实验室的 benchmark arXiv cs.CL OpenAI Anthropic Google DeepMind Benchmark results Retrieval & RAG

Benchmarks

Benchmark	模型	得分
HealthBench	VITA	51.9%
HealthBench	GPT-5.4	46.1%
HealthBench	o4-mini	44.3%
HealthBench	Gemini 3.1 Pro	42.6%
HealthBench	Claude Sonnet 4.6	37.3%

阅读原文

arxiv arXiv cs.CL · 39 天前

零样本评估显示 Gemini 在 13 类情感分类法中领先于其他 LLM

一项研究使用来自 boltuix/emotions 数据集的 1,000 句分层抽样，对三个商业大型语言模型——Claude (claude-sonnet-4-6)、ChatGPT (GPT-5.4) 和 Gemini (gemini-2.5-flash) ——在零样本细粒度情感分类任务上进行了评估。

media IntuitionLabs · 119 天前 · 45 次浏览

GPT-5.2在2025年12月ARC-AGI-2基准测试中达到~53%

OpenAI于2025年12月发布的GPT-5.2在AI抽象推理方面取得了重大里程碑，在ARC-AGI-2基准测试中达到了约53–54%的成功率。这一表现远远超越了之前的最先进水平，此前没有任何封闭模型系统在这些任务上达到过5%的成功率。

lab ARC Prize · 434 天前 · 1 次浏览

测试主要AI推理系统在ARC基准上未发现明确赢家

对来自OpenAI、DeepMind、xAI、DeepSeek和Anthropic等实验室的前沿AI推理系统的审查显示，虽然测试时计算扩展提高了准确性，但显著降低了效率。分析确定了ARC-AGI-1分数的帕累托前沿，但指出在更具挑战性的ARC-AGI-2基准上完全失败，表明所有主要模型存在共同局限性。

arxiv arXiv cs.LG · 2 天前 · 2 次浏览

研究人员利用跨会话加密重用从大语言模型API中窃取推理轨迹

研究人员发现，主要的大语言模型提供商在处理逐步推理轨迹方面存在漏洞，这些轨迹以加密块的形式返回供客户端使用。他们发现，这些加密块在同一提供商生态系统内的不同会话、用户和模型之间完全兼容且可互换。

media MarkTechPost · 27 天前

Mistral Vibe for Code 在脚手架到PR任务中领先四大编码代理

对 Mistral Vibe for Code、Claude Code、OpenAI Codex 和 Cursor 的能力比较评估了它们在涉及脚手架、测试和拉取请求生成的多阶段工作流中的表现。分数基于截至2026年7月14日记录的功能、已发布的基准测试以及供应商规格得出。