Self-Guided Test-Time Training은 증거 구문을 선택하여 장기 컨텍스트 추론을 개선합니다

연구자들은 Self-Guided Test-Time Training (S-TTT) 을 제안했습니다. 이 방법은 적응 전에 관련 증거 구문을 식별함으로써 장기 컨텍스트 활용을 향상시킵니다.

• S-TTT 은 전체 컨텍스트나 무작위 샘플 대신 매개변수 적응을 위해 특정 증거 구문을 선택합니다.
• 기본 모델 성능이 저하되는 것을 방지하기 위해 표준 언어 모델링 목적 함수는 선택된 구문에만 적용됩니다.
• LongBench-v2 및 LongBench-Pro 에서 S-TTT 은 Qwen3-4B-Thinking-2507 및 Llama-3.1-8B-Instruct 의 정확도를 최대 15% 상대적 개선했습니다.