CO-LMLM은 연속 쿼리 제한 메모리 언어 모델을 도입합니다

著者들은 Continuous-Query Limited Memory Language Models (CO-LMLM)을 제안합니다. 이는 연속 키와 텍스트 값의 쌍을 사용하여 사실 지식을 지식 베이스(KB)로 외부화하는 패러다임으로, 기존 관계형 KB 접근 방식과 차별화됩니다. 이 설계는 모델이 최소 비용으로 유연한 벡터 쿼리를 생성하고, 생성 중에 사람이 판독 가능하고 귀속 가능한 검색된 지식을 통합할 수 있게 합니다.

• CO-LMLM은 임의의 텍스트에서 자유 형식 사실 범위를 태그하는 주석 파이프라인을 활용하며, 이전 연구에서 발견된 Wikipedia에 대한 제한을 제거합니다.
• 이 모델은 여러 규모에서 Wikipedia와 FineWeb-Edu로 사전 학습되었습니다.
• 360M 규모에서 CO-LMLM은 40배 더 많은 데이터로 사전 학습된 모델보다 낮은 퍼플렉시티를 달성합니다.
• SimpleQA 검증에서 gpt-4o-mini와 동등한 성능을 발휘하고 Claude Sonnet 4.5를 초과합니다.

CO-LMLM은 퍼플렉시티와 사실 정확성 모두에서 기존 LMLMs와 바닐라 LLMs를 능가하며, 기존 대규모 언어 모델을 넘어선 지식 제어 기능을 제공합니다.