메타의 FAIR, 옥스퍼드 대학교, 그리고 유니버시티 칼리지 런던의 연구 팀은 AI 에이전트가 미실행 머신러닝 실험 후보를 순위 매길 수 있도록 도와주는 AI Research Preference Models(RPMs)를 소개했습니다. 이 접근 방식은 아이디어 생성은 저렴하지만 GPU 학습을 통한 검증은 비싸다는 병목 현상을 해결합니다.

  • RPMs는 파인튜닝 없이 동결된 사전 훈련된 LLM을 사용하며, 오픈소스 AIRA-dojo 스캐폴드와 Qwen3.6-27B를 백본으로 활용합니다.
  • 시스템은 15개의 병렬 후보를 생성하고 검증 점수에 기반한 쌍별 토너먼트를 통해 하나의 우승자를 선택합니다.
  • 두 가지 변형이 테스트되었습니다: 추론 전용 심판과 샌드박스 환경에서 짧은 파일럿 실험을 수행하는 에이전트 심판입니다.
  • AIRS-Bench에서 RPMs는 평균 정규화 점수를 0.684에서 0.711(추론 전용) 및 0.729(에이전트)로 향상시켰습니다.
  • 두 변형 모두 약 15시간 만에 기준선의 최종 점수에 도달하여 무작위 선택 대비 1.5–1.6×의 속도 향상을 제공했습니다.

저자들은 이것이 에이전트가 가장 유망한 실험에 컴퓨팅 자원을 집중할 수 있게 하여 더 강력한 기본 모델 없이도 연구 진전을 크게 가속화하기 때문에 중요하다고 간주합니다.