Модели с уменьшающимся количеством параметров (TLMs) распределяют больше параметров на более ранние слои и меньше — на более поздние, что снижает перплексность и повышает производительность на тестовых наборах данных при различных архитектурах. Такое распределение емкости, учитывающее глубину модели, улучшает выводы языковых моделей без увеличения вычислительных ресурсов или количества параметров, предлагая простую и универсальную принципиальную основу.