한 연구자는 저사양 노트북에 적합한 모델을 식별하기 위해 검색 및 재구성 작업에서 소규모 AI 언어 모델(1억~30억 파라미터)의 메모리 한계를 평가하는 연구를 수행하고 있습니다. 이 연구는 특히 Qwen2.5 모델 3개, 즉 0.5B, 1.5B, 3B를 벤치마킹합니다.
- 검색 작업에서 메모리 성능은 세 모델 크기 모두에서 비교적 유사했습니다.
- 재구성 작업 결과에서는 가장 큰 모델인 Qwen2.5-3B가 가장 낮은 성능을 보이는 예상치 못한 경향이 나타났습니다.
- 3B 모델은 입력 정보가 증가함에 따라 1.5B 및 0.5B 모델에 비해 재구성 성능이 훨씬 가파르게 감소했습니다.
저자는 이러한 직관에 반하는 결과가 실험 오류가 아니라 객관적인 것인지 확인하기 위한 추가 분석 또는 방법론적 검증에 대한 피드백을 요청하고 있습니다.