Чтобы решить проблемы масштабируемости традиционного рецензирования в эпоху науки с ИИ-ассистентами, исследователи предлагают таксономию взаимодействия человека и ИИ и представляют инструмент Paper Assistant Tool (PAT). PAT — это агентная ИИ-система, предназначенная для обработки полных научных рукописей и создания комплексных оценок путем проверки теоретических результатов, валидации экспериментов и выявления потенциальных недостатков.
- PAT использует техники масштабирования инференса для выявления более глубоких проблем, чем одиночные вызовы модели, достигая улучшения на 34% по сравнению с zero-shot recall при обнаружении математических ошибок в бенчмарке SPOT.
- Пилотные развертывания на STOC и ICML демонстрируют способность PAT выявлять критические ошибки и предлагать существенные улучшения к научным статьям в качестве инструмента предварительной подачи.
Выявляя ошибки на ранних этапах, PAT снижает когнитивную нагрузку на рецензентов, сохраняя их контроль над результатами процесса рецензирования.