Предложение на Hugging Face обсуждает две взаимосвязанные проблемы в ИИ: зависимость от обучения отдельных больших моделей и зависимость экосистемы от универсальных GPU.

  • Автор предлагает «прогрессивный рост модели», при котором модель структурно расширяется (например, с 4B до 8B), сохраняя изученные представления, а не начинается с нуля для каждого размера.
  • Этот подход дополняет передачу знаний фиксированного размера, позволяя моделям поглощать больше возможностей до того, как станет необходимым структурное расширение.
  • Чтобы преодолеть ограничения оборудования, автор предлагает «Профиль ИИ-оборудования» для Трансформеров, определяя стабильный набор общих операций (таких как GEMM и внимание) для специализированных производителей ASIC.
  • В предложении утверждается, что выпуски моделей должны оценивать метрики эффективности, такие как токены на джоуль и требования к памяти, наряду с количеством параметров.

Автор считает, что эти изменения могут помочь локальным пользователям ИИ преодолеть ограничения VRAM и предоставить производителям оборудования четкую цель для оптимизации.