본 논문은 GEIS(Generation-Evaluation-Improvement loop of agent Skills)를 제시하며, 고정된 멀티 에이전트 파이프라인 대신 이름이 지정되고 선언적인 스킬을 사용하는 위키백과 스타일의 장문 기사 생성을 위한 프레임워크를 소개합니다. Tasi Harness에 구현된 이 시스템은 검사 가능하고 반복적인 개선을 가능하게 하기 위해 작성, 증거 수집 및 평가를 위한 전문 모듈을 구성합니다.
- GEIS는 Request, Plan, Draft, Audit, Refine, Deliver 순서를 따르는 핵심 작성 스킬을 구현합니다.
- 쌍별 평가 스킬은 PDF 인식 평가를 사용하여 구조화된 품질 보고서를 생성합니다.
- 개선 스킬은 반복적으로 발견된 사항을 작성 스킬의 영구 패치로 매핑합니다.
- 20개 주제 실험에서 GEIS는 100점 만점의 PDF 품질 루브릭에서 Tasi Harness 기본 작성기보다 8.0점 향상되었습니다.
- 패치된 작성 스킬은 평균 점수를 82.90에서 86.95로 높였으며, 20개 주제 중 17개에서 개선이 관찰되었습니다.
저자들은 장문 생성을 평가 가이드 루프로 재구성함으로써 얽힌 프롬프트 기반 시스템과 비교하여 모듈식이고 검사 가능한 워크플로우를 가능하게 한다고 주장합니다.