Пользователь Reddit излагает несколько мотивов выбора локального запуска больших языковых моделей вместо использования коммерческих API.

  • Пользователи могут дообучать любую модель на любом наборе данных по своему выбору.
  • Такие техники, как speculative decoding, можно использовать для максимизации токенов в секунду.
  • Локальный запуск гарантирует, что данные не передаются провайдерам вроде Anthropic или OpenAI.
  • Оборудование можно повторно использовать для задач компьютерного зрения, текста и речи, что позволяет бесплатно использовать любые комбинации моделей.
  • Пользователи могут формировать наборы данных без опасений насчёт стоимости API.

В посте подчёркиваются преимущества контроля, конфиденциальности и экономии затрат, связанные с локальным выводом.