В статье ставится вопрос о практической полезности меньших моделей с открытым весом (2B–7B) для локального развертывания, спрашивается, становятся ли они достаточными для личных рабочих процессов по сравнению с более крупными моделями.

Она конкретно просит пользователей, которые в настоящее время запускают модели локально, поделиться своим опытом относительно:

  • конкретных моделей и конфигураций оборудования, которые они используют;
  • задач, где маленькие модели показали удивительно хорошие результаты;
  • реальных рабочих установок, а не чисел бенчмарков.

Автор подчеркивает желание видеть практические примеры использования в реальном мире вместо теоретических метрик производительности.