arxiv arXiv cs.CL · 2일 전 · research

ROFT는 자체 생성 설명에 대한 파인튜닝으로 에이전트 모델을 개선합니다

번역 English → 한국어

연구자들은 Retrospection-Only Fine-Tuning (ROFT)를 조사하고 있습니다. 이는 에이전트가 자신의 경험에 대한 회고적 설명을 생성하고 해당 설명 토큰의 다음 토큰 예측 손실만을 사용하여 파인튜닝되는 최소한의 온라인 절차입니다. 이 방법에는 외부 교사나 보상 기반 정책 업데이트가 필요하지 않습니다.

Qwen3.5-4B를 사용한 소프트웨어 엔지니어링 실험에서 ROFT는 20회 업데이트 후 SWE-bench Verified 및 Pro에서 각각 49.2%와 26.8%의 해결률을 달성하여 40회 업데이트 후 GRPO의 결과를 능가했습니다. 이 접근 방식은 기본 모델의 모든 시도가 실패한 작업도 해결하는 방법을 배우고 간접적으로 크레딧을 할당하여 좋은 행동을 장려합니다.

이러한 발견은 자체 생성된 회고를 유용한 학습 목표로 확립하며, 설명하는 것을 배우는 것이 수행하는 것을 배우는 것을 개선할 수 있음을 보여줍니다.

중요도 2/3 arXiv cs.CL AI agents Training methods

벤치마크

벤치마크	모델	점수
SWE-bench Verified	Qwen3.5-4B (with ROFT)	49.2%
SWE-bench Pro	Qwen3.5-4B (with ROFT)	26.8%

관련 기사

lab Microsoft Research Blog · 방금 실시간

마이크로소프트 리서치 시스템이 미국 66,935개 변전소의 우주 기상 위험을 예측

마이크로소프트 리서치에서 개발한 머신러닝 파이프라인은 미국 본토의 66,935개 변전소에 대해 위치별 자기유도전류(GIC) 위험 추정치를 생성합니다. 이 시스템은 태양풍 예보와 지역 지질 데이터를 결합하여 특정 위험이 나타나기 전 30~60분의 사전 경고를 전력망 운영자에게 제공합니다.

arxiv arXiv cs.CL · 7일 전 · 조회수 8회

VHD-Play는 해결된 메커니즘에서 에이전트형 RL 환경을 생성합니다

VHD-Play는 수학적 모델을 샘플링하고 해결한 후 의사결정 과정을 상태 유지 도구로 렌더링하여 다양한 에이전트형 강화학습 환경을 생성하는 파이프라인입니다. 이 접근 방식은 실행 가능한 동역학과 궤적 평가 기준이 해결된 모델에서 직접 상속되도록 하여 기존 생성 파이프라인에서 흔히 발생하는 정렬 문제를 해결합니다.

arxiv arXiv cs.CL · 7일 전 · 조회수 10회

SkillGym이 LLM에 인간 기술을 내재화하여 현실 문제 해결을 가능하게 함

연구진은 SkillGym을 소개합니다. 이는 인간이 작성한 에이전트 기술을 대형 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크입니다. 이 시스템은 기술-작업 파이프라인을 활용하여 구체적인 작업을 인스턴스화하고 코드 기반 체크기로 결과를 검증합니다.

arxiv arXiv cs.AI · 8일 전 · 조회수 17회

월드 상태 생성기는 에이전트 성공을 높이기 위해 계획을 합성 세계와 정렬합니다

월드 상태 생성기(WSG)는 실패 후 상태를 재작성하여 언어 에이전트의 계획이 실행 환경의 규칙과 일치하도록 유지하는 모델입니다. 이는 규칙을 강제하고 목표 도달 가능성을 검증하는 프로그램이 있는 7개의 합성 도메인에서 추출된 226K 트래젝토리에서 훈련되었습니다.

media Latent Space · 9일 전 · 조회수 22회

TypeSafe AI, 교정된 결정을 위한 강화학습으로 훈련된 System One 모델 Jev 발표

TypeSafe AI는 프로덕션 환경을 위해 설계된 새로운 클래스의 "System One" 모델인 Jev를 출시했습니다. 동사의 CEO이자 InstructGPT 논문의 공동 저자인 Diogo Almeida는 현재 최전방 모델들이 신뢰성보다 정렬과 거부 반응에 우선순위를 두어 환각 현상과 아부 같은 문제를 초래했다고 주장합니다.