Исследователи из Университета Цинхуа и компании Ant Group представляют IFEval++, бенчмарк, разработанный для оценки «надёжности, ориентированной на нюансы», в больших языковых моделях, показывающий, что современные модели значительно затрудняются при работе с тонкими вариациями промптов, несмотря на высокие результаты в стандартных бенчмарках.
- В исследовании «родственные промпты» определяются как входные данные, передающие схожие намерения, но различающиеся по формулировке или контексту, и предлагается метрика reliable@k для количественной оценки согласованности между ними.
- IFEval++ состоит из 541 тестового случая, каждый из которых содержит 10 родственных промптов, сгенерированных через автоматизированный конвейер с использованием перефразирования, добавления отвлекающих факторов и переконфигурации задачи.
- Оценка 20 закрытых и 26 открытых моделей показала снижение производительности до 61,8% для Qwen3-0.6B и до 54,7% для GPT-3.5-turbo-1106 при переходе от точности в стандартном IFEval к reliable@10 в IFEval++.
- Даже самая надёжная модель, GPT-5, продемонстрировала снижение надёжности на 18,3% в условиях с нюансами.
- Авторы определяют параллельное масштабирование во время тестирования с помощью отборочной выборки (rejection sampling) как наиболее эффективный метод улучшения, позволяющий более слабым моделям, таким как Qwen3-4B, превосходить более мощные, такие как LLaMA-3.3-70B-Instruct.
Полученные результаты подчеркивают надёжность, ориентированную на нюансы, как критический пробел в текущих возможностях LLM и необходимый шаг к созданию более надёжных и заслуживающих доверия систем искусственного интеллекта.