TF-Engram이 LLM을 위한 SSD 기반 학습 불필요 메모리를 도입

저자들은 TF-Engram을 제시했습니다. 이는 외부 코퍼스에서 구문별 의미 메모리를 오프라인으로 구축하고 GPU-DRAM-SSD 계층에 걸쳐 대규모 메모리 테이블을 저장하는 학습 불필요한 Engram 시스템입니다. 자기회귀 디코딩 중 외부 메모리 지연 시간을 숨기기 위해 Early-Exit Guided Predictive Prefetching을 활용합니다.

Qwen3-0.6B에서 TF-Engram은 평균 다운스트림 점수를 57.6에서 59.4로 향상시켜, 동결된 백본과 매개변수 일치 LoRA 기준선 모두를 능가했습니다.

이러한 결과는 정적 구문 메모리가 확장 가능하고 학습 불필요하며 오버헤드가 낮은 시스템 구성 요소로서 LLM 추론에 통합될 수 있음을 보여줍니다.