Пользователь ищет рекомендации по выбору GPU для запуска локальных больших языковых моделей программирования, рассматривая три конкретных варианта оборудования. Сравнение фокусируется на модифицированной RTX 4090 с 48 ГБ видеопамяти, двух картах Radeon AI Pro R9700 и двух картах Intel Arc Pro B70.
- Модифицированная RTX 4090 48 ГБ: Предлагает полную архитектуру AD102, пропускную способность ~1 ТБ/с и поддержку CUDA за $3500, но несет риски, связанные с сторонней микропрограммой, надежностью и отсутствием гарантии.
- 2x Radeon AI Pro R9700 32 ГБ: Оснащена архитектурой RDNA4, пропускной способностью 640 ГБ/с, PCIe 5.0 и официальной гарантией за ~$1300, хотя совместимость с ROCm отмечена как менее зрелая по сравнению с CUDA.
- 2x Intel Arc Pro B70 32 ГБ: Стоит ~$1080, имеет архитектуру Battlemage, пропускную способность 608 ГБ/с и 367 TOPS INT8, но не поддерживает FP4 и сталкивается с вопросами зрелости драйверов для oneAPI/OpenVINO.
Пользователь стремится достичь скорости 30-40 токенов в секунду (tps) для вывода данных и легкой тонкой настройки, отмечая, что его текущая установка DGX Spark ограничена 20 tps.