Пользователь Reddit ищет рекомендации по оборудованию для запуска нескольких моделей малого и среднего размера локально для задач парсинга данных, извлечения информации и рассуждений. Пользователь намерен использовать эту конфигурацию для построения моделей, тестирования, создания LoRA и дистилляции, оставляя крупные облачные модели, такие как Opus, для сложных задач.
- Цель: Запуск нескольких моделей малого и среднего размера локально для парсинга данных, извлечения информации и базовых возможностей рассуждений.
- Дополнительные функции: Желательны генерация изображений и управление компьютером, но они второстепенны.
- Фокус разработки: Пользователь хочет использовать DGX Sparks ради их заявленной ценности в построении и тестировании моделей локально, а не только для инференса.
- Продвинутые задачи: Интерес к созданию LoRA и дистилляции моделей среднего размера в конкретные домены.
- Облачный резерв: Крупные модели, такие как Opus, всё ещё будут использоваться для масштабных проектов и сложных задач отладки.