arxiv arXiv cs.AI · только что · ист: 3 д назад · research

GPT-5 и GPT-5 Nano соответствуют уровню экспертов в оценке исследований микробной онкогенеза

Переведено с English → Русский

Исследование показывает, что GPT-5 и GPT-5 Nano достигают экспертного уровня производительности при извлечении доказательств и критической оценке научных публикаций по микробной онкогенезу. Исследователи провели бенчмаркинг этих моделей вместе с Gemini 2.5 Pro и Gemini 2.5 Flash на наборе данных из 24 статей, посвящённых MMTV-LV и раку молочной железы, по сравнению с экспертами в данной области.

Оценка использовала структурированный шаблон с 77 пунктами по нескольким типам вопросов, включая MCQ, шкалы Лайкерта и свободные текстовые ответы.
GPT-5 и GPT-5 Nano выдали распределение оценок, неразличимое от оценок экспертов-людей, в то время как модели Gemini были значительно более снисходительны при применении критериев.
Галлюцинации встречались редко во всех моделях, однако оценка методологии и выявление противоречий внутри полных текстов оставались устойчивыми уязвимостями.

Полученные результаты поддерживают использование LLM для автоматизированного систематического синтеза доказательств, хотя требуется дальнейшее усиление в сложных методологических задачах.

Важность 2/3 arXiv cs.AI Google DeepMind OpenAI Evaluation & benchmarks Research paper

Оригинал

Похожие статьи

arxiv arXiv cs.CL · 2 ч назад

GPT-5 и GPT-5 Nano соответствуют экспертам в извлечении доказательств микробной онкогенеза

Исследование, оценивающее большие языковые модели при систематическом синтезе доказательств по микробному онкогенезу, показало, что GPT-5 и GPT-5 Nano работают неотличимо от экспертов в этой области. Исследователи оценивали Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5 и GPT-5 Nano на основе 24 научных статей с использованием структурированного шаблона из 77 пунктов по нескольким типам вопросов.

arxiv arXiv cs.CL · 38 д назад

Автоматическая оценка экзаменов по Linux/bash с помощью больших языковых моделей

В данном исследовании оценивается, могут ли четыре передовые большие языковые модели (GPT, Claude Opus, Gemini и GLM) приближаться к экспертной оценке при проверке коротких ответов на команды Linux/bash. Исследование показывает, что структурированные промпты значительно улучшают согласование с оценками людей, создавая основу для ИИ-ассистированной оценки в образовании по вычислительной технике.

arxiv arXiv cs.CL · 48 д назад · 2 просмотра

Владение рекомендациями ИИ: эмпирическая карта владения брендами в категории

Исследование 3750 запросов в пяти отраслях показало умеренную концентрацию рекомендаций, с средним коэффициентом Гини в 0,28. Согласие между моделями по рекомендованным брендам составило только 41,6%, а показатели смещения варьировались в зависимости от отрасли, от 0,4:1 до 4,3:1. Результаты противоречат концепции «победитель получает всё» и вводят три воспроизводимых метрики для анализа конкуренции.

arxiv arXiv cs.CL · 48 д назад · 2 просмотра

OpenBioRQ: Бенчмарк для верности агентных исследований в биомедицине

OpenBioRQ вводит бенчмарк из 12 553 нерешённых вопросов в области биомедицинских исследований в 12 областях, разработанный для проверки верности и отказа агентных моделей. Он оценивает модели в условиях использования инструментов без ключей ответов, используя реальные доказательства последующих шагов, а не параметрические знания, и показывает значительное падение агентной способности на самые сложные вопросы, где инструменты больше не используются, несмотря на их критическую важность.

arxiv arXiv cs.CL · 48 д назад · 2 просмотра

Большие языковые модели не могут точно переводить фонгбэ

Оценки показывают, что переводы фонгбэ имеют низкое качество (1,0–2,2/5), в отличие от приемлемого результата в случае хауса (4,0–4,5/5), при этом наблюдается постоянный разрыв в 3 раза по BLEU. Автоматические метрики, такие как BERTScore, показывают коллапс вложений и слабую корреляцию с человеческими оценками, особенно в случае хауса, в то время как Gemini превосходит другие модели при оценке фонгбэ, а GPT-4o — при оценке хауса в человеческих оценках. Для стабильного ранжирования моделей требуется минимальный объем образцов в 2500 предложений.