함수 인식 중간 채우기(mid-training)가 코딩 에이전트 파운데이션 모델을 개선합니다

연구자들은 에이전트의 액션-관찰 루프와 함수 호출 사이트 간의 구조적 동형성을 활용하여 코딩 에이전트 파운데이션 모델을 위한 중간 학습 목적으로 함수 인식 중간 채우기(FIM)를 도입했습니다. 이 자기지도 방식 접근법은 프로그램 의존성 그래프 분석을 통해 선택된 함수를 마스킹하며, Qwen2.5-Coder-Instruct 및 Qwen3-8B 모델에 적용됩니다.

• 2.6B 토큰 코퍼스에서의 중간 학습은 7B/14B 모델의 SWE-Bench-Verified 점수를 +2.8/+3.0 향상시키고, Qwen3-8B의 경우 +3.2 향상시킵니다.
• 동일한 모델 크기 간에 SWE-Bench-Lite에서 얻은 이득은 각각 +3.7, +4.0, +5.4에 달합니다.
• 이 방법은 LiveCodeBench와 같은 비에이전트 코딩 벤치마크와 tau-bench 및 BFCL과 같은 도구 사용 작업에서의 능력 침식을 완화합니다.

이 기술은 중간 학습에 파이썬 코드만 사용했음에도 불구하고, 함수 호출 귀납적 편향이 에이전트 사후 학습 후에도 생존하여 다양한 파이프라인과 기본 모델 전반에 걸쳐 일관된 개선을 가져온다는 것을 보여줍니다.