Para abordar los desafíos de escalabilidad de la revisión por pares tradicional en la era de la ciencia asistida por IA, los investigadores proponen una taxonomía de colaboración entre IA y humanos e introducen la herramienta Paper Assistant (PAT). PAT es un marco de IA agente diseñado para ingerir manuscritos científicos completos y producir evaluaciones exhaustivas verificando resultados teóricos, validando experimentos e identificando posibles fallas.
- PAT utiliza técnicas de escalado de inferencia para identificar problemas más profundos que las llamadas a modelos individuales, logrando una mejora del 34% en la recuperación de errores matemáticos en el benchmark SPOT en comparación con el enfoque zero-shot.
- Implementaciones piloto en STOC e ICML demuestran la capacidad de PAT para identificar errores críticos y sugerir mejoras sustanciales a los artículos de investigación como herramienta previa a la presentación.
Al detectar errores temprano, PAT alivia la carga cognitiva impuesta a los revisores mientras preserva su control sobre los resultados del proceso de revisión.