Независимый исследователь представил TreeNets, метод, который использует деревья решений для радикального сокращения размера больших языковых моделей. Работа направлена на прояснение фундаментальной связи между нейронными сетями и деревьями решений.
Автор выложил первый черновик исследовательской статьи на Codeberg вместе с репозиторием исходного кода. Кроме того, модель, объединяющая TreeNets с Bart (tree_bart_xsum_6_6), была загружена на Hugging Face для публичного доступа.