독립 연구자가 TreeNets를 소개했습니다. 이는 대규모 언어 모델의 크기를 극적으로 줄이기 위해 의사결정 트리를 활용하는 방법입니다. 이 작업은 신경망과 의사결정 트리 간의 근본적인 연결을 명확히 하는 것을 목표로 합니다.
저자는 Codeberg에서 연구 논문의 초안을 공개하고 소스 코드 저장소도 함께 제공했습니다. 또한 TreeNets와 Bart를 결합한 모델(tree_bart_xsum_6_6)이 Hugging Face에 업로드되어 공개되었습니다.