저자들은 CO-LMLM을 제안합니다. 이는 사실적 지식을 연속 키와 텍스트 값의 페어링된 지식베이스로 외부화하는 제한 메모리 언어 모델입니다. 이 접근 방식은 모델이 최소 비용으로 유연한 벡터 쿼리를 생성하고, 생성 중에 사람이 판독 가능하며 귀속 가능한 검색된 지식을 통합할 수 있게 합니다.

  • 시스템은 임의 텍스트 내 자유 형식 사실 스팬에 태그를 붙이는 주석 파이프라인을 사용하며, 기존 연구에서 발견된 Wikipedia에 대한 제한을 제거합니다.
  • CO-LMLM은 여러 모델 스케일에서 Wikipedia와 FineWeb-Edu로 사전 학습되었습니다.
  • 360M 스케일에서 40배 더 많은 데이터로 사전 학습된 모델보다 낮은 퍼플렉시티를 달성합니다.
  • SimpleQA 검증 성능은 gpt-4o-mini와 비교 가능하며 Claude Sonnet 4.5보다 높습니다.

CO-LMLM은 퍼플렉시티와 사실적 정확성 모두에서 기존 제한 메모리 언어 모델과 바닐라 LLM을 능가하며, 기존 대규모 언어 모델을 넘어선 지식 제어 기능을 제공합니다.