연구자들은 홀로그래픽 임베딩을 사용하여 문법 기호 임베딩 간 대수 관계 모델링으로 PCFG 규칙 스코어링을 재구성하는 방법인 홀로그래픽 뉴럴 PCFG(Hol-PCFG)를 제안한다.

  • Hol-PCFG는 원형 상관관수를 통해 토러스 제약 임베딩 위에서 왼쪽 자식, 오른쪽 자식 및 어휘 방출 관계에 스코어를 매긴다.
  • 이 접근법은 문법 규칙의 내재적 구조를 구성적으로 전달하는 폐쇄 형식의 확률을 모든 규칙에 제공한다.
  • 기준 모델 대비 규칙 스코어링 매개변수를 99.94% 절감하면서도 여섯 언어에서 최상위 구문 분석 성능을 달성한다.
  • 모델은 더 안정적으로 학습하며 형태소 분할 없이 문자로부터 직접 일본어를 구문 분석할 수 있으며 거의 동일한 형태소 수준 성능을 유지한다.

Hol-PCFG는 매개변수 수를 크게 줄이고 훈련 안정성을 개선하면서도 규칙 확률에 대해 해석 가능한 수학적 형식을 제공한다.