Исследователь проводит исследование для оценки пределов памяти малых языковых моделей ИИ (от 100M до 3B параметров) для задач извлечения и реконструкции, с целью выявления тех, которые подходят для ноутбуков со слабыми характеристиками. В исследовании конкретно бенчмаркятся три модели Qwen2.5: 0.5B, 1.5B и 3B.

  • Производительность памяти при извлечении оказалась относительно схожей во всех трех размерах моделей.
  • Результаты памяти при реконструкции показали неожиданный тренд, при котором самая большая модель, Qwen2.5-3B, показала худший результат.
  • Модель 3B продемонстрировала значительно более крутое снижение производительности реконструкции по мере увеличения входной информации по сравнению с моделями 1.5B и 0.5B.

Автор запрашивает отзывы о дополнительных анализах или методологических проверках, чтобы подтвердить, что этот контринтуитивный результат объективен, а не является ошибкой эксперимента.