Self-Guided TTT가 증거 구문을 선택하여 긴 컨텍스트 LLM 정확도 향상

연구자들은 대규모 언어 모델에서 긴 입력을 활용하는 어려움을 해결하기 위해 Self-Guided Test-Time Training (S-TTT)를 제안했다. 무작위 구문에 대한 표준 테스트 타임 트레이닝은 노이즈로 인해 성능이 저하될 수 있다.

이 방법은 적응 전에 컨텍스트 내에서 관련 증거 구문을 모델이 식별하고, 선택된 세그먼트에만 훈련 목적 함수를 적용하여 작동한다. 이 접근 방식은 전체 컨텍스트 트레이닝의 막대한 비용을 피하면서 관련 없는 데이터의 부정적인 영향을 완화한다.

LongBench-v2 및 LongBench-Pro 벤치마크에서 S-TTT는 Qwen3-4B-Thinking-2507 및 Llama-3.1-8B-Instruct의 정확도를 향상시켜 최대 15%의 상대적 개선을 달성했다.