Большие языковые модели используют непрерывные, избыточные пути для извлечения фактических характеристик. Эти пути часто пропускают слои и включают несколько эквивалентных маршрутов, что указывает на распределенное и избыточное вычисление знаний, что подрывает текущее понимание хранения и извлечения знаний в LLMs.